चित्रण: tuput
हिन्दी
भारत में इंडियाAI मिशन के कंप्यूट पर प्रशिक्षित सर्वम का ओपन 105B मॉडल हर टोकन को 128 में से 8 एक्सपर्ट्स के पास भेजता है, इसलिए एक समय में 10.3 अरब पैरामीटर सक्रिय रहते हैं। यह विचार जैकब्स, जॉर्डन, नाउलन और हिंटन के 1991 के शोधपत्र से आता है और जनवरी 2017 में नोआम शज़ीर और उनके सहयोगियों के शोधपत्र के ज़रिये भाषा मॉडलों तक पहुँचा।
सर्वम का 105B मॉडल 6 मार्च 2026 को ओपन वेट्स के रूप में जारी हुआ। उसमें 105 अरब पैरामीटर हैं (वे समायोज्य संख्याएँ जिन्हें नेटवर्क प्रशिक्षण के दौरान सीखता है), लेकिन उसके Hugging Face मॉडल कार्ड के अनुसार किसी एक टोकन के लिए, यानी एक शब्द या शब्द के एक टुकड़े के लिए, उनमें से सिर्फ़ 10.3 अरब सक्रिय रहते हैं। यह बचत एक बनावट से आती है जिसे मिक्सचर ऑफ एक्सपर्ट्स कहते हैं। सर्वम का कहना है कि उसने यह मॉडल और इसका छोटा 30B भाई भारत में, इंडियाAI मिशन के तहत मिले कंप्यूट पर, शुरू से प्रशिक्षित किए।
मिक्सचर ऑफ एक्सपर्ट्स मिक्स्ट्रल, डीपसीक-V2 और डीपसीक के नए मॉडलों के भीतर भी है। शोधपत्र और मॉडल कार्ड 1991 के एक शोधपत्र से 137 अरब पैरामीटर वाले 2017 के एक नेटवर्क तक, और वहाँ से 2024 से 2026 के ओपन मॉडलों तक एक रेखा खींचते हैं। सर्वम का 105B डीपसीक-V2 के साथ दो बनावटी विशेषताएँ साझा करता है, एक साझा एक्सपर्ट और अटेंशन का एक संपीड़ित रूप, दोनों का ब्योरा आगे है।
नेटवर्क के भीतर राउटर क्या करता है
जो पाठक इन शब्दों से नए हैं, उनके लिए बड़े भाषा मॉडल के प्रशिक्षण पर हमारा explainer पैरामीटर, टोकन और प्री-ट्रेनिंग समझाता है।
एक सामान्य ट्रांसफॉर्मर में, यानी आज के चैटबॉट के पीछे की बनावट में, हर टोकन हर परत पर एक फ़ीड-फ़ॉरवर्ड ब्लॉक से गुज़रता है। यह संख्याओं का एक बड़ा ढेर है जो मॉडल की ज़्यादातर प्रोसेसिंग करता है। मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल इस एक ब्लॉक की जगह कई छोटे ब्लॉक रख देता है, जिन्हें एक्सपर्ट कहा जाता है, और एक राउटर जोड़ देता है। Hugging Face का 2023 का explainer राउटर को एक छोटा सीखा हुआ नेटवर्क बताता है जो तय करता है कि कौन-सा टोकन किस एक्सपर्ट के पास जाए, और कहता है कि उसे बाकी मॉडल के साथ ही प्रशिक्षित किया जाता है। मिक्स्ट्रल पर मिस्ट्रल की पोस्ट भी यही कहती है कि एक्सपर्ट और राउटर एक साथ प्रशिक्षित होते हैं।
नतीजा दो संख्याओं का बँटवारा है। Hugging Face के फ़रवरी 2026 के शब्दों में, मॉडल की क्षमता उसके कुल पैरामीटर पर निर्भर करती है, पर इन्फ़रेंस की रफ़्तार उसके सक्रिय पैरामीटर पर। पोस्ट ओपन gpt-oss-20b मॉडल का उदाहरण लेती है: कुल 21 अरब पैरामीटर, हर टोकन के लिए 32 में से 4 एक्सपर्ट, लगभग 3.6 अरब सक्रिय। Apple M3 Ultra की मेमोरी बैंडविड्थ से लगाया रफ़्तार का अनुमान लगभग 111 टोकन प्रति सेकंड आया, और मापी गई रफ़्तार लगभग 115 रही।
एक्सपर्ट किसी विषय का विशेषज्ञ नहीं होता। 2026 की पोस्ट के अनुसार वह बस एक सीखने योग्य उप-नेटवर्क है, “गणित का एक्सपर्ट” या “कोड का एक्सपर्ट” नहीं। 2023 की पोस्ट बताती है कि एक अध्ययन (ST-MoE) में एनकोडर के एक्सपर्ट विराम-चिह्न या व्यक्तिवाचक संज्ञाओं जैसे टोकनों के समूहों में विशेषज्ञ बने, और बहुभाषी प्रयोग में कोई एक एक्सपर्ट किसी एक भाषा का विशेषज्ञ नहीं बना।
1991 का विचार, 2017 की छलाँग
शुरुआत 1991 में Neural Computation पत्रिका के खंड 3 में छपे रॉबर्ट जैकब्स, माइकल जॉर्डन, स्टीवन नाउलन और जेफ़्री हिंटन के एक शोधपत्र से होती है। इसमें कई अलग-अलग नेटवर्कों की एक प्रणाली के लिए सीखने की विधि बताई गई है, जिसमें हर नेटवर्क प्रशिक्षण के कुछ मामले सँभालता है, और एक गेटिंग नेटवर्क हर मामले को एक या कुछ एक्सपर्ट के पास भेजता है ताकि वज़न में बदलाव उन्हीं तक सीमित रहें। शोधपत्र की एक पाद-टिप्पणी के अनुसार यह विचार पहली बार 1988 में पिट्सबर्ग की एक समर स्कूल में जैकब्स और हिंटन ने रखा था। लेखकों ने इसे स्वर-पहचान के एक काम को उप-कार्यों में बाँटकर परखा, जिनमें से हर एक को एक बहुत सरल एक्सपर्ट नेटवर्क ने हल किया।
नोआम शज़ीर और छह सह-लेखकों ने अगला बड़ा क़दम 23 जनवरी 2017 को पोस्ट किया। उनके सार में मॉडल की क्षमता में “1000 गुना से ज़्यादा सुधार” की बात है, जबकि आधुनिक GPU क्लस्टरों पर कंप्यूटिंग दक्षता में सिर्फ़ मामूली कमी आती है। उनकी बनाई परत में हज़ारों तक फ़ीड-फ़ॉरवर्ड एक्सपर्ट थे, और एक प्रशिक्षित होने वाला गेटिंग नेटवर्क हर उदाहरण के लिए उनमें से एक विरल संयोजन चुनता था। उन्होंने 137 अरब पैरामीटर तक की ऐसी एक परत को LSTM परतों (भाषा नेटवर्क का एक पुराना प्रकार) के बीच जोड़ा, और भाषा-मॉडलिंग तथा अनुवाद के मानकों पर कम कंप्यूटिंग लागत में पहले से छपे सर्वश्रेष्ठ नतीजों से बेहतर नतीजे बताए। ये नतीजे लेखकों के अपने हैं। Hugging Face का विवरण जोड़ता है कि इस काम में संचार की ऊँची लागत और अस्थिर प्रशिक्षण की दिक्कतें आईं।
दो सरलीकरण: GShard और Switch
जून 2020 का GShard शोधपत्र एक बहुभाषी अनुवाद मॉडल को विरल गेट वाले एक्सपर्ट के साथ 600 अरब से ज़्यादा पैरामीटर तक बढ़ाने की बात बताता है, जिसे 100 भाषाओं से अंग्रेज़ी में अनुवाद के लिए 2,048 TPU v3 एक्सेलेरेटरों पर 4 दिनों में प्रशिक्षित किया गया।
विलियम फ़ेडस, बैरेट ज़ोफ़ और शज़ीर का Switch Transformers 11 जनवरी 2021 को आया। उसका मुख्य बदलाव राउटिंग को सरल करना था। Hugging Face ध्यान दिलाता है कि पहले की बनावटों में हर टोकन के लिए कम से कम दो एक्सपर्ट थे, जबकि Switch हर टोकन एक ही के पास भेजता है, जिससे राउटर का काम, संचार और बैच का आकार घटते हैं, और लेखकों के अनुसार गुणवत्ता बनी रहती है। शोधपत्र के अनुसार उसी हार्डवेयर पर अपने T5-Base और T5-Large शुरुआती बिंदुओं से प्री-ट्रेनिंग 7 गुना तक तेज़ रही, और एक खरब पैरामीटर वाला मॉडल T5-XXL से 4 गुना तेज़ रहा। लेखक यह भी कहते हैं कि उन्होंने पहली बार बड़े विरल मॉडल कम परिशुद्धता वाली bfloat16 संख्याओं में प्रशिक्षित किए।
2024: मिक्स्ट्रल और डीपसीक नुस्खा बदलते हैं
मिस्ट्रल AI ने मिक्स्ट्रल 8x7B को 11 दिसंबर 2023 को Apache 2.0 लाइसेंस के तहत जारी किया, और उसका शोधपत्र 8 जनवरी 2024 को आया। हर परत में 8 एक्सपर्ट हैं और राउटर हर टोकन के लिए 2 चुनता है। चूँकि एक्सपर्ट टोकन-दर-टोकन अलग होते हैं, शोधपत्र के अनुसार हर टोकन के पास 47 अरब पैरामीटर तक पहुँच है, पर किसी एक चरण में वह 13 अरब इस्तेमाल करता है। मिस्ट्रल की अपनी घोषणा में 46.7 अरब और 12.9 अरब हैं, जो पूर्णांकित होकर वही आँकड़े देते हैं, और Hugging Face रफ़्तार की तुलना 12 अरब पैरामीटर वाले मॉडल से करता है। मिस्ट्रल का कहना है कि मिक्स्ट्रल ज़्यादातर मानकों पर Llama 2 70B और GPT-3.5 के बराबर या उनसे बेहतर है, जो निर्माता का दावा है और उसके चुने परीक्षणों पर मापा गया है।
कुल संख्या 47 अरब है, 8 गुना 7 अरब यानी 56 अरब नहीं, क्योंकि सिर्फ़ फ़ीड-फ़ॉरवर्ड ब्लॉक एक्सपर्ट में बँटे हैं। Hugging Face समझाता है कि अटेंशन और बाकी हिस्से साझा रहते हैं।
मिक्स्ट्रल शोधपत्र के तीन दिन बाद, 11 जनवरी 2024 को, DeepSeekMoE शोधपत्र आया। उसने दो बदलाव किए। उसने एक्सपर्ट को बारीक टुकड़ों में काटा और हर टोकन के लिए उनमें से ज़्यादा सक्रिय किए, और कुछ साझा एक्सपर्ट अलग रखे जो आम जानकारी सँभालें ताकि राउट किए गए एक्सपर्ट विशेषज्ञता हासिल कर सकें। शोधपत्र के परीक्षणों में 16 अरब पैरामीटर वाला एक संस्करण लगभग 40% गणना में LLaMA2 7B के बराबर रहा, और 145 अरब पैरामीटर का एक प्रारंभिक संस्करण 28.5% गणना में, शायद 18.2% तक में, DeepSeek 67B के बराबर रहा। ये तुलनाएँ लेखकों की अपनी हैं।
डीपसीक-V2 7 मई 2024 को आया: कुल 236 अरब पैरामीटर, हर टोकन के लिए 21 अरब सक्रिय, 1,28,000 टोकन की कॉन्टेक्स्ट विंडो और 8.1 खरब प्रशिक्षण टोकन। पहले के सघन DeepSeek 67B की तुलना में टीम 42.5% कम प्रशिक्षण लागत, 93.3% छोटा की-वैल्यू कैश और जनरेशन थ्रूपुट में 5.76 गुना तक की बढ़त बताती है। की-वैल्यू कैश वह मेमोरी है जो मॉडल लिखते समय पिछले टोकनों की रखता है, और यह कमी शोधपत्र की दूसरी विशेषता, मल्टी-हेड लेटेंट अटेंशन (MLA), से आती है, जो उस कैश को एक छोटे संग्रहीत रूप में संपीड़ित करती है।
सर्वम के दो मॉडल, भारत में बने
सर्वम का 6 मार्च 2026 का ब्लॉग और दोनों मॉडल कार्ड बनावट का ब्योरा देते हैं। दोनों मॉडल 128 एक्सपर्ट वाली विरल एक्सपर्ट परतें इस्तेमाल करते हैं, और राउट किए गए एक्सपर्ट के अलावा एक साझा एक्सपर्ट हमेशा चालू रहता है।
| मॉडल | कुल पैरामीटर | प्रति टोकन सक्रिय | इस्तेमाल हुए राउट किए गए एक्सपर्ट |
|---|---|---|---|
| मिक्स्ट्रल 8x7B (शोधपत्र) | 47 अरब | 13 अरब | 8 में से 2 |
| डीपसीक-V2 (शोधपत्र) | 236 अरब | 21 अरब | DeepSeekMoE बनावट |
| सर्वम 30B (मॉडल कार्ड) | लगभग 30 अरब | 2.4 अरब, एम्बेडिंग को छोड़कर | 128 में से 6 |
| सर्वम 105B (मॉडल कार्ड) | लगभग 105 अरब | 10.3 अरब | 128 में से 8 |
कार्ड सर्वम 30B के सक्रिय पैरामीटर एम्बेडिंग परत के बिना गिनता है, वह लुकअप तालिका जो टोकनों को संख्याओं में बदलती है। Hugging Face की फ़ाइल सूचियों में 30B के लिए 32 अरब और 105B के लिए 106 अरब पैरामीटर दिखते हैं, इसलिए मॉडल के नाम पूर्णांकित हैं।
दोनों में फ़र्क़ यह है कि वे अटेंशन को कैसे सँभालते हैं। 30B ग्रुप्ड क्वेरी अटेंशन इस्तेमाल करता है, जिसमें कई अटेंशन हेड संग्रहीत की और वैल्यू साझा करते हैं (कार्ड में 4 की-वैल्यू हेड दर्ज हैं), ताकि कैश छोटा रहे। 105B मल्टी-हेड लेटेंट अटेंशन इस्तेमाल करता है, वही तकनीक जिससे डीपसीक-V2 कैश को संपीड़ित करता है, और जिसके बारे में सर्वम बताता है कि वह लंबे इनपुट के लिए मेमोरी और घटाती है। प्री-ट्रेनिंग में 30B के लिए 16 खरब टोकन और 105B के लिए 12 खरब टोकन इस्तेमाल हुए।
राउटिंग पर सर्वम का कहना है कि उसने एक्सपर्ट को आम सॉफ़्टमैक्स की जगह सिग्मॉइड फ़ंक्शनों से आँका और एक एक्सपर्ट-बायस पद जोड़ा। कंपनी का बताया कारण एक्सपर्ट के बीच बेहतर संतुलन और राउटिंग कोलैप्स में कमी है, यानी वह विफलता जिसमें कुछ ही एक्सपर्ट ज़्यादातर ट्रैफ़िक ले लेते हैं। Hugging Face की 2023 की पोस्ट लोड बैलेंसिंग को इस बनावट की कठिन समस्याओं में गिनती है, जिसे Switch Transformers ने प्रशिक्षण के दौरान जोड़े गए एक सरल अतिरिक्त लॉस से सँभाला।
सर्वम ने दोनों को Apache 2.0 के तहत जारी किया, वेट्स AI Kosh और Hugging Face पर हैं। उसके ब्लॉग के अनुसार 30B उसके संवाद मंच Samvaad को चलाता है और 105B उसके सहायक Indus को। वह यह भी बताता है कि H100 चिप्स पर 30B प्रति उपयोगकर्ता समान रफ़्तार पर Qwen3 के एक आधार-मॉडल से प्रति GPU 3 से 6 गुना थ्रूपुट देता है। वह आँकड़ा और भारतीय-भाषा मानकों पर अत्याधुनिक नतीजों का कंपनी का दावा सर्वम के अपने कथन हैं। 105B के बाहरी स्कोर इंडियाAI मिशन पर हमारी रिपोर्ट में हैं, और मिशन की विरल मॉडल की दूसरी रिलीज़, ZenteiQ का Dhir 5B, इस लेख में है।
यह विचार कितनी दूर पहुँचा है
डीपसीक-V4.1-Flash, जिसका मॉडल कार्ड 12 नवंबर 2026 को Hugging Face Hub पर था, में 552 अरब बैकबोन पैरामीटर हैं और 10 लाख टोकन तक का कॉन्टेक्स्ट है। कार्ड के अनुसार हर विरल परत में 1 साझा और 384 राउट किए गए एक्सपर्ट हैं, जिनमें से हर टोकन के लिए 6 राउट किए गए एक्सपर्ट सक्रिय रहते हैं। यानी 384 में से 6, लगभग 1.6%, जबकि मिक्स्ट्रल अपने एक्सपर्ट का चौथाई हिस्सा इस्तेमाल करता है और सर्वम का 105B 128 में से 8। कार्ड में 45 खरब टोकन का प्रशिक्षण कॉर्पस और MIT लाइसेंस दर्ज है। 1 खरब पैरामीटर पर यही तरीका मिस्ट्रल लार्ज 4 पर हमारे लेख में आया है।
यह बनावट किस चीज़ की बचत नहीं करती
हर एक्सपर्ट को मेमोरी में रहना पड़ता है, भले ही हर टोकन पर कुछ ही काम करते हों। सर्वम के मॉडलों के लिए दर्ज 32 अरब और 106 अरब पैरामीटर वाले फ़ाइल आकार वही हैं जो किसी मशीन को थामने होते हैं। Hugging Face का 2023 का explainer कहता है कि मिक्स्ट्रल जैसे मॉडल को पूरे 47 अरब पैरामीटर थामने लायक वीडियो मेमोरी चाहिए, और मिक्सचर ऑफ एक्सपर्ट्स कई मशीनों पर ऊँचे थ्रूपुट वाली सर्विंग के लिए ठीक बैठता है, जबकि कम मेमोरी और कम ट्रैफ़िक में सघन मॉडल बेहतर है। वह यह भी बताता है कि विरल मॉडल फ़ाइन-ट्यूनिंग में ओवरफ़िटिंग की ओर झुके रहे हैं, और 256 या 512 एक्सपर्ट के बाद एक्सपर्ट जोड़ने के फ़ायदे घटने लगते हैं।
स्रोत और आगे पढ़ने के लिए
- Jacobs, Jordan, Nowlan and Hinton: Adaptive Mixtures of Local Experts, Neural Computation 3, 79-87 (1991)
- arXiv: Shazeer et al., Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (23 January 2017)
- arXiv: Lepikhin et al., GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (30 June 2020)
- arXiv: Fedus, Zoph and Shazeer, Switch Transformers (11 January 2021)
- Mistral AI: Mixtral of experts (11 December 2023)
- arXiv: Jiang et al., Mixtral of Experts (8 January 2024)
- arXiv: Dai et al., DeepSeekMoE (11 January 2024)
- arXiv: DeepSeek-AI, DeepSeek-V2 (7 May 2024)
- Hugging Face: Mixture of Experts Explained (11 December 2023)
- Hugging Face: Mixture of Experts (MoEs) in Transformers (26 February 2026)
- Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)
- Hugging Face: Sarvam-105B model card
- Hugging Face: Sarvam-30B model card
- Hugging Face: DeepSeek-V4.1-Flash model card
यह लेख AI उपकरणों की सहायता से शोधित और लिखा गया है, और सटीकता के लिए संपादित किया गया है। यह केवल सामान्य जानकारी और चर्चा के लिए है, पेशेवर सलाह नहीं। हमारे संपादकीय मानक और अस्वीकरण देखें। कोई त्रुटि मिली? हमें बताएँ।
अच्छा लगा? अगला लेख पाएँ।
एक बार में एक अच्छा लेख, सीधे आपके इनबॉक्स में। कोई स्पैम नहीं, जब चाहें अनसब्सक्राइब करें।