चित्रण: tuput
हिन्दी
IBM के Granite 4.0-H-Small में 36 Mamba-2 परतें हैं और अटेंशन की केवल 4, और IBM का कहना है कि इस बनावट से लंबे इनपुट के लिए चाहिए मेमोरी 70% से ज़्यादा घट जाती है। यह विचार 2021 के S4 नाम के शोधपत्र से 2023 में Mamba तक, और फिर AI21, Zyphra, NVIDIA, IBM और सर्वम के हाइब्रिडों तक पहुँचा है।
IBM का Granite 4.0-H-Small, जो 2 अक्टूबर 2025 को Apache 2.0 लाइसेंस के तहत जारी हुआ, 32 अरब पैरामीटर का है (पैरामीटर वे समायोज्य संख्याएँ हैं जो मॉडल प्रशिक्षण में सीखता है), और उसका Hugging Face मॉडल कार्ड 36 Mamba-2 परतें और अटेंशन की केवल 4 परतें गिनाता है। IBM का कहना है कि इनपुट लंबा होने पर, या एक साथ कई उपयोगकर्ताओं को सेवा देने पर, इस बनावट को पारंपरिक ट्रांसफ़ॉर्मर मॉडलों से 70% से ज़्यादा कम मेमोरी चाहिए।
Mamba भाषा मॉडल बनाने का ऐसा तरीका है जो हर पिछले शब्द को दोबारा नहीं पढ़ता। अल्बर्ट गू और त्री दाओ ने इसे 1 दिसंबर 2023 को डाला, और इसे अटेंशन की कुछ परतों के साथ मिलाने वाले मॉडल अब AI21, Zyphra, NVIDIA, IBM से आते हैं, और भारत में सर्वम से, वाक्-पहचान के लिए। यह लेख हर कदम के पीछे के शोधपत्रों और निर्माताओं के पन्नों का पीछा करता है और हर रफ़्तार या मेमोरी के उस आँकड़े पर निशान लगाता है जो निर्माता का अपना है।
पाठ लंबा होने पर अटेंशन की कीमत
ज़्यादातर चैटबॉट ट्रांसफ़ॉर्मर हैं, और ट्रांसफ़ॉर्मर का मूल अटेंशन है, वह चरण जिसमें हर शब्द की तुलना उससे पहले के शब्दों से की जाती है। 2017 के ट्रांसफ़ॉर्मर शोधपत्र पर हमारी व्याख्या बताती है कि यह कैसे काम करता है।
कीमत तब दिखती है जब पाठ बढ़ता है। NVIDIA का Nemotron-H शोधपत्र कहता है कि एक टोकन (एक शब्द या शब्द का टुकड़ा) बनाने के लिए सेल्फ़-अटेंशन परत जितना काम करती है वह अब तक देखे गए टोकनों की संख्या के साथ बढ़ता है, और उसे पिछले नतीजों का एक भंडार भी रखना पड़ता है, KV कैश, जिसका आकार पाठ की लंबाई के अनुपात में बढ़ता है। DeepSeek V4.1-Flash पर हमारा लेख KV कैश को विस्तार से समझाता है। IBM यही बात दूसरे ढंग से कहता है: अगर इनपुट की लंबाई दोगुनी हो जाए, तो ट्रांसफ़ॉर्मर को पूरे इनपुट पर चार गुना गणनाएँ करनी पड़ती हैं।
निश्चित आकार की एक नोटबुक
सोचिए एक पाठक को निश्चित आकार की एक नोटबुक की इजाज़त है। हर शब्द के बाद पाठक तय करता है कि क्या लिखे और क्या मिटाए, और पाठ को खुद कभी पलटकर नहीं देखता। नोटबुक कभी बढ़ती नहीं, इसलिए हर नया शब्द उतनी ही मेहनत लेता है चाहे पाठ दस शब्दों का हो या दस लाख का। कीमत यह है कि जो नोटबुक ने नहीं रखा, वह चला गया।
यह उपमा इस लेख की अपनी है। गू और दाओ अपने Mamba शोधपत्र में इसे संदर्भ को एक छोटी अवस्था में संपीड़ित करने के रूप में रखते हैं: वे लिखते हैं कि अटेंशन असरदार और अकुशल इसलिए है कि वह संदर्भ को बिल्कुल संपीड़ित नहीं करता, जबकि सीमित अवस्था वाला आवर्ती मॉडल कुशल है पर इससे सीमित कि वह अवस्था संदर्भ को कितनी अच्छी तरह थामती है। स्टेट-स्पेस मॉडल में “अवस्था” (स्टेट) ही नोटबुक है।
2021 में S4: बहुत लंबे अनुक्रमों तक पहुँचने वाली स्टेट-स्पेस परतें
स्टेट-स्पेस मॉडल नियंत्रण-अभियांत्रिकी से आते हैं, और 2021 तक उनकी एक जानी हुई कमज़ोरी थी। गू, गोयल और रे (स्टैनफ़र्ड) ने 31 अक्टूबर 2021 को डाले अपने S4 शोधपत्र के सार में लिखा कि पारंपरिक मॉडल “10000 या ज़्यादा कदमों के बहुत लंबे अनुक्रमों तक फैलने में संघर्ष करते हैं”, और कि पहले का स्टेट-स्पेस तरीका सामान्य उपयोग के लिए गणना और मेमोरी में बहुत महँगा था। S4 ने परत के सेट-अप को इस तरह बदला कि उसकी गणना कहीं ज़्यादा कुशलता से हो सके।
लेखक अनुक्रमिक CIFAR-10 (चित्र-वर्गीकरण का एक परीक्षण, जिसे एक लंबे अनुक्रम की तरह पढ़ा जाता है) पर बिना डेटा ऑगमेंटेशन के 91% सटीकता बताते हैं, जो एक बड़े 2-D ResNet के बराबर है। वे Path-X हल करने की भी बात करते हैं, 16,000 लंबाई के अनुक्रमों वाला एक काम जिस पर, उनके शब्दों में, पहले का सारा काम विफल रहता है, और चित्र तथा भाषा-मॉडलिंग के कामों पर ट्रांसफ़ॉर्मरों से 60 गुना तेज़ जनरेशन, जबकि गुणवत्ता का काफ़ी अंतर पाट दिया। ये लेखकों के नतीजे हैं।
2023 में Mamba: मॉडल को चुनने देना कि क्या रखे
S4 परत हर इनपुट पर वही तय नियम लगाती थी। गू और दाओ का बदलाव परत के पैरामीटरों को मौजूदा इनपुट पर निर्भर बनाना था, ताकि मॉडल, उनके शब्दों में, अनुक्रम के साथ “चुनकर जानकारी आगे बढ़ा या भुला सके”। शोधपत्र इसे एक हार्डवेयर-सचेत एल्गोरिद्म से जोड़ता है जो परत की गणना GPU (ग्राफ़िक्स प्रोसेसर, वह चिप जिस पर ज़्यादातर एआई का काम चलता है) पर कुशलता से करता है, और एक सरलीकृत नेटवर्क से जो न अटेंशन इस्तेमाल करता है न आम फ़ीड-फ़ॉरवर्ड ब्लॉक।
शोधपत्र बताता है कि प्रशिक्षण में मेमोरी और गणना अनुक्रम की लंबाई के साथ रैखिक रूप से बढ़ती है और जनरेशन का हर कदम स्थिर समय लेता है क्योंकि पिछली चीज़ों का कोई कैश नहीं है। उसके रफ़्तार-परीक्षण में, जो एक A100 80 GB GPU पर 2,048-टोकन के प्रॉम्प्ट और 128 बनाए गए टोकनों के साथ चला, Mamba समान आकार के ट्रांसफ़ॉर्मर की तुलना में अनुमान-थ्रूपुट (प्रति सेकंड बने शब्द) का 4 से 5 गुना पहुँचा, कुछ इसलिए कि KV कैश न होने से वह कहीं बड़े बैच इस्तेमाल कर सका। सार इसे गोल करके 5 गुना लिखता है। लेखक यह भी बताते हैं कि उनके 3 अरब पैरामीटर वाले Mamba ने अपने परीक्षणों पर उसी आकार के ट्रांसफ़ॉर्मरों को हराया और अपने से दोगुने आकार वालों की बराबरी की। उन्होंने कोड और प्रशिक्षित चेकपॉइंट जारी किए।
2024 में Mamba-2: अटेंशन और स्टेट-स्पेस मॉडल करीबी रिश्तेदार निकले
दाओ और गू का दूसरा शोधपत्र, जो 31 मई 2024 को “Transformers are SSMs” नाम से डाला गया, तर्क देता है कि दोनों परिवार करीब से जुड़े हैं। उनका “स्टेट स्पेस ड्यूएलिटी” ढाँचा संरचित मैट्रिक्सों के एक वर्ग के ज़रिये स्टेट-स्पेस मॉडलों और अटेंशन के रूपों को जोड़ता है। व्यावहारिक नतीजा Mamba-2 है, जिसकी मूल परत को लेखक Mamba की परत से 2 से 8 गुना तेज़ बताते हैं, और जो कहीं बड़ा चलता सार रख सकती है। वे बताते हैं कि Pile (एक खुला पाठ-संग्रह) के 300 अरब टोकनों पर प्रशिक्षित 2.7 अरब पैरामीटर वाला Mamba-2 उसी डेटा पर प्रशिक्षित मूल Mamba 2.8B और Pythia 2.8B तथा 6.9B मॉडलों से आगे रहा।
नोटबुक अकेली क्यों काफ़ी नहीं
निश्चित नोटबुक ब्योरा खो सकती है, इसीलिए हाइब्रिड कुछ अटेंशन रखते हैं। Jamba के शोधपत्र ने इसे सीधे परखा। 1.3 अरब पैरामीटर और 250 अरब प्रशिक्षण-टोकनों पर, केवल अटेंशन वाले मॉडल, केवल Mamba वाले मॉडल और मिश्रण ने IMDB पर, जो फ़िल्म-समीक्षाओं को सकारात्मक या नकारात्मक लेबल देने का परीक्षण है, ये अंक पाए।
| मॉडल | IMDB | QuAC | NarrativeQA |
|---|---|---|---|
| केवल अटेंशन | 84.1 | 27.9 | 45.8 |
| केवल Mamba | 48.8 | 20.2 | 27.7 |
| अटेंशन और Mamba का मिश्रण | 90.9 | 26.6 | 43.7 |
QuAC और NarrativeQA प्रश्न-उत्तर के परीक्षण हैं। Jamba के लेखक बताते हैं कि केवल Mamba वाले मॉडल ने IMDB पर अक्सर उत्तर का प्रारूप तोड़ा, दो अनुमत लेबलों की जगह “Very Good” या “3/10” जैसे जवाब देकर, और वे इसे इन-कॉन्टेक्स्ट लर्निंग से जोड़ते हैं, यानी प्रॉम्प्ट के उदाहरणों से कोई काम सीख लेने की क्षमता। 7 अरब पैरामीटर पर 50 अरब टोकनों के बाद उन्हें केवल Mamba “काफ़ी प्रतिस्पर्धी” पर अटेंशन से थोड़ा पीछे मिला, और मिश्रित मॉडल दोनों से आगे। Zamba2 की रिपोर्ट और IBM की घोषणा यही बात कहती हैं कि केवल स्टेट-स्पेस मॉडल इन-कॉन्टेक्स्ट लर्निंग में कम अच्छे हैं।
Mamba-2 के शोधपत्र ने परखा कि हाइब्रिड को कितना अटेंशन चाहिए। 48 परतों वाले 35 करोड़ पैरामीटर के मॉडल पर परप्लेक्सिटी (यह अंक कि असली पाठ से मॉडल कितना चकित होता है, जहाँ कम बेहतर है) केवल Mamba-2 के लिए 8.60 थी, सर्व-ट्रांसफ़ॉर्मर नुस्खे के लिए 8.68, और अटेंशन की छह परतों के साथ 8.26। लेखकों ने पाया कि लगभग 10% परतों का अटेंशन होना सबसे अच्छा रहा। वे परिकल्पना के रूप में सुझाते हैं कि स्टेट-स्पेस परतें सामान्य अनुक्रम-प्रसंस्करण सँभालती हैं जबकि अटेंशन की परतें एक लुकअप की तरह काम करती हैं जो पिछले टोकनों पर वापस कूद सकता है, बजाय इसके कि मॉडल को सब कुछ अपनी अवस्था में निचोड़ना पड़े।
निर्माताओं के अपने शब्दों में चार हाइब्रिड
तालिका हर स्रोत का बताया अटेंशन का हिस्सा देती है। स्रोत परतें अलग ढंग से गिनते हैं (जैसे Nemotron-H फ़ीड-फ़ॉरवर्ड परतें अलग गिनाता है), इसलिए ये हिस्से करीब हैं पर एक जैसे माप नहीं।
| मॉडल | तारीख | ढेर में अटेंशन, जैसा स्रोत बताता है |
|---|---|---|
| Jamba (AI21) | 28 मार्च 2024 | हर 7 Mamba परतों पर 1 अटेंशन परत |
| Zamba2 (Zyphra) | 22 नवंबर 2024 | Mamba-2 रीढ़ के साथ एक या दो साझा अटेंशन ब्लॉक, जिनके वेट दोबारा इस्तेमाल होते हैं |
| Nemotron-H (NVIDIA) | 4 अप्रैल 2025 | लगभग 8% परतें: 8B मॉडल में 52 में से 4, 56B में 118 में से 10 |
| Granite 4.0-H (IBM) | 2 अक्टूबर 2025 | तीनों हाइब्रिड आकारों में 4 अटेंशन और 36 Mamba-2 परतें, 9 और 1 का अनुपात |
Jamba अटेंशन और Mamba परतों को बारी-बारी से रखता है और मिक्सचर ऑफ एक्सपर्ट्स जोड़ता है (ऐसी बनावट जिसमें हर शब्द कुछ उप-नेटवर्कों को भेजा जाता है, जिसे हमारी व्याख्या में बताया गया है)। जारी मॉडल में कुल 52 अरब पैरामीटर हैं, एक समय में 12 अरब सक्रिय, और वह Apache 2.0 लाइसेंस के तहत 256,000 टोकन का संदर्भ सँभालता है। शोधपत्र की तालिका 16-बिट संख्याओं में 256,000 टोकन पर KV कैश Jamba के लिए 4 GB, Mixtral के लिए 32 GB और Llama-2 6.7B के लिए 128 GB रखती है। लेखक चार A100 GPU पर 128,000 टोकन पर Mixtral का 3 गुना थ्रूपुट भी बताते हैं। AI21 Jamba को पहला उत्पादन-स्तर का Mamba-आधारित मॉडल कहता है, जो कंपनी का अपना वर्णन है।
Zyphra का Zamba2 1.2, 2.7 और 7.4 अरब पैरामीटर के आकारों में आता है। रिपोर्ट कहती है कि वेट Apache 2.0 के तहत खुले हैं, प्रशिक्षण-डेटासेट (Zyda-2) भी खुला है, और मॉडल तीन खरब टोकन तक पर प्रशिक्षित हुए। Zyphra का कहना है कि मॉडल अपने आकार के अग्रणी खुले-वेट मॉडलों की बराबरी करते हैं या उन्हें हराते हैं, विलंब, थ्रूपुट और मेमोरी-उपयोग में बढ़त के साथ, जो कंपनी की अपनी तुलना है।
NVIDIA का Nemotron-H शोधपत्र कहता है कि उसने ज़्यादातर अटेंशन परतों की जगह Mamba परतें रखीं जिन्हें हर बने टोकन के लिए स्थिर मेमोरी चाहिए। NVIDIA समान आकार के ट्रांसफ़ॉर्मरों की तुलना में समान सटीकता पर 3 गुना तक तेज़ अनुमान बताता है। परीक्षण में 65,536-टोकन का इनपुट और 1,024 बने टोकन H100 GPU पर इस्तेमाल हुए, Nemotron-H के लिए NVIDIA का अपना शुरुआती इम्प्लीमेंटेशन, और तुलना वाले मॉडलों के लिए vLLM सर्विंग सॉफ़्टवेयर। 56B मॉडल के लिए NVIDIA ने Qwen-2.5-72B और Llama-3.1-70B के प्रति GPU आउटपुट का 2.4 गुना मापा। शोधपत्र जोड़ता है कि ट्रांसफ़ॉर्मरों को सालों से बहुत अनुकूलित किया गया है और वह Nemotron-H के लिए और रफ़्तार-बढ़ोतरी की उम्मीद करता है।
NVIDIA का बाद का Nemotron 3 परिवार, अपने परिवार-पन्ने (15 दिसंबर 2025 को प्रकाशित) और श्वेतपत्र (24 दिसंबर 2025) के अनुसार, मिक्सचर-ऑफ-एक्सपर्ट्स वाली हाइब्रिड Mamba-Transformer बनावट इस्तेमाल करता है। पन्ना 10 लाख टोकन तक का संदर्भ गिनाता है और Nano मॉडल को कुल 31.6 अरब पैरामीटर वाला, जिसमें 3.2 अरब सक्रिय हैं, बताता है। NVIDIA एक H200 GPU पर 8,000 टोकन इनपुट और 16,000 आउटपुट पर Qwen3-30B-A3B का 3.3 गुना थ्रूपुट बताता है। 19 नवंबर 2026 को पढ़े गए पन्ने पर एक अपडेट है जो कहता है कि Nemotron 3 Ultra जारी हो गया है, और उसकी कोई तारीख नहीं देता।
IBM के Granite 4.0 में तीन हाइब्रिड मॉडल हैं: H-Small (32 अरब पैरामीटर, 9 अरब सक्रिय), H-Tiny (7 अरब, 1 अरब सक्रिय) और H-Micro (3 अरब, सघन), और साथ में 3 अरब पैरामीटर का एक पारंपरिक ट्रांसफ़ॉर्मर उन प्लेटफ़ॉर्मों के लिए जो अभी हाइब्रिड नहीं चला सकते। IBM के अनुसार हाइब्रिड कोई पोज़िशनल एनकोडिंग इस्तेमाल नहीं करते, यानी वह जोड़ा गया संकेत जो ट्रांसफ़ॉर्मर को शब्दों का क्रम बताता है, क्योंकि Mamba टोकनों को क्रम से पढ़ता है। IBM यह भी कहता है कि हाइब्रिड बनावट कुशलता में योगदान देती है, पर Granite 3.3 के मुकाबले Granite 4.0 की ज़्यादातर सटीकता-बढ़त बेहतर प्रशिक्षण-डेटा और तरीकों से आती है, क्योंकि उसका पारंपरिक 3B मॉडल भी पुराने 8B मॉडल को हराता है। 70% मेमोरी का आँकड़ा पारंपरिक ट्रांसफ़ॉर्मर मॉडलों के मुकाबले IBM का अपना दावा है।
सर्वम का Saaras V4
सर्वम ने Saaras V4 को 25 सितंबर 2026 को प्रकाशित किया। उसकी पोस्ट के अनुसार यह वाक्-पहचान प्रणाली एक ऑडियो एनकोडर को 3 अरब पैरामीटर के भाषा-मॉडल डिकोडर से जोड़ती है, जिसे “हाइब्रिड स्टेट स्पेस मॉडल” बताया गया है और जिसे घर में शुरू से प्रशिक्षित किया गया। पोस्ट न Mamba का नाम लेती है न परतों की सटीक बनावट का, Saaras V4 को REST API और बैच API के ज़रिये देती है, और मॉडल-वेट की किसी रिलीज़ का वर्णन नहीं करती। Saaras V4 पर हमारा लेख उसकी 22 भाषाओं और परीक्षण-नतीजों को कवर करता है।
स्रोत क्या नहीं दिखाते
ऊपर का हर रफ़्तार-आँकड़ा निर्माता का अपना है और अलग मॉडल पर, अलग हार्डवेयर पर, अलग आधार-रेखाओं के विरुद्ध मापा गया: Mamba शोधपत्र में 5 गुना, Mamba-2 परत के लिए 2 से 8 गुना, Nemotron-H में 3 गुना और Nemotron 3 Nano के लिए 3.3 गुना। वे एक-दूसरे से तुलनीय नहीं हैं, और यह लेख उन्हें जोड़ता नहीं।
खोले गए किसी भी पन्ने में आज के सबसे बड़े मॉडलों के पैमाने पर हाइब्रिड और शुद्ध ट्रांसफ़ॉर्मर की कोई स्वतंत्र आमने-सामने की तुलना नहीं है, और कोई पन्ना यह नहीं कहता कि किसी दूसरी प्रयोगशाला का कोई चैट-उत्पाद Mamba परतें इस्तेमाल करता है। Saaras V4 की बनावट सर्वम का अपने तंत्र का वर्णन है। Granite 4.0 की घोषणा कहती है कि उसके मॉडल 512,000 टोकन तक लंबे नमूनों पर प्रशिक्षित हुए और 128,000 टोकन तक के कामों पर जाँचे गए।
स्रोत और आगे पढ़ने के लिए
- arXiv: Gu, Goel and Ré, Efficiently Modeling Long Sequences with Structured State Spaces (S4, 31 October 2021)
- arXiv: Gu and Dao, Mamba: Linear-Time Sequence Modeling with Selective State Spaces (1 December 2023)
- arXiv: Dao and Gu, Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (31 May 2024)
- arXiv: Lieber et al., Jamba: A Hybrid Transformer-Mamba Language Model (28 March 2024)
- AI21: Introducing Jamba (28 March 2024)
- arXiv: Glorioso et al., The Zamba2 Suite: Technical Report (Zyphra, 22 November 2024)
- arXiv: NVIDIA, Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models (4 April 2025)
- NVIDIA Research: NVIDIA Nemotron 3 Family of Models (published 15 December 2025)
- arXiv: NVIDIA, NVIDIA Nemotron 3: Efficient and Open Intelligence (24 December 2025)
- IBM: IBM Granite 4.0, hyper-efficient, high performance hybrid models for enterprise (2 October 2025)
- Hugging Face: ibm-granite/granite-4.0-h-small model card
- Sarvam AI: Introducing Saaras V4 (25 September 2026)
यह लेख AI उपकरणों की सहायता से शोधित और लिखा गया है, और सटीकता के लिए संपादित किया गया है। यह केवल सामान्य जानकारी और चर्चा के लिए है, पेशेवर सलाह नहीं। हमारे संपादकीय मानक और अस्वीकरण देखें। कोई त्रुटि मिली? हमें बताएँ।
अच्छा लगा? अगला लेख पाएँ।
एक बार में एक अच्छा लेख, सीधे आपके इनबॉक्स में। कोई स्पैम नहीं, जब चाहें अनसब्सक्राइब करें।