Skip to content
अटेन्शन प्रत्येक शब्द पुन्हा वाचते, तर Mamba ठरावीक आकाराचा चालू सारांश ठेवते, आणि या दोहोंचे हायब्रिड आता IBM च्या Granite 4.0, NVIDIA च्या Nemotron मॉडेलांत, Jamba आणि सर्वमच्या Saaras V4 मध्ये चालतात
एआय आणि तंत्रज्ञान

अटेन्शन प्रत्येक शब्द पुन्हा वाचते, तर Mamba ठरावीक आकाराचा चालू सारांश ठेवते, आणि या दोहोंचे हायब्रिड आता IBM च्या Granite 4.0, NVIDIA च्या Nemotron मॉडेलांत, Jamba आणि सर्वमच्या Saaras V4 मध्ये चालतात

चित्रण: tuput

मराठी

IBM च्या Granite 4.0-H-Small मध्ये ३६ Mamba-2 थर आणि फक्त ४ अटेन्शन थर आहेत, आणि IBM म्हणते की या रचनेमुळे दीर्घ इनपुटसाठी लागणारी मेमरी ७०% हून अधिक घटते. ही कल्पना २०२१ च्या S4 नावाच्या शोधनिबंधापासून २०२३ मधील Mamba मार्गे AI21, Zyphra, NVIDIA, IBM आणि सर्वमच्या हायब्रिडांपर्यंत आली आहे.

· · 9 मिनिटांचे वाचन

IBM चे Granite 4.0-H-Small, २ ऑक्टोबर २०२५ रोजी Apache 2.0 परवान्याखाली प्रसिद्ध झाले, त्यात ३२ अब्ज पॅरामीटर आहेत (प्रशिक्षणात मॉडेल शिकणारे समायोज्य आकडे), आणि त्याचे Hugging Face मॉडेल कार्ड ३६ Mamba-2 थर आणि फक्त ४ अटेन्शन थर नोंदवते. IBM म्हणते की इनपुट लांब असताना किंवा एकाच वेळी अनेक वापरकर्त्यांना सेवा देताना या रचनेला पारंपरिक ट्रान्सफॉर्मर मॉडेलांपेक्षा ७०% हून कमी मेमरी लागते.

Mamba हा भाषा मॉडेल बांधण्याचा असा मार्ग आहे ज्यात आधीचा प्रत्येक शब्द पुन्हा वाचला जात नाही. आल्बर्ट गू आणि त्री दाओ यांनी ते १ डिसेंबर २०२३ रोजी प्रसिद्ध केले, आणि त्याला काही अटेन्शन थरांसोबत मिसळणारी मॉडेले आता AI21, Zyphra, NVIDIA, IBM आणि, वाक्-ओळखीसाठी, भारतातील सर्वमकडून येतात. हा लेख प्रत्येक टप्प्यामागील शोधनिबंध आणि निर्मात्यांची पाने अनुसरतो आणि निर्मात्याचा स्वतःचा असलेला प्रत्येक वेग किंवा मेमरीचा आकडा चिन्हांकित करतो.

मजकूर लांब होताना अटेन्शनला काय खर्च येतो

बहुतेक चॅटबॉट ट्रान्सफॉर्मर आहेत, आणि ट्रान्सफॉर्मरचा गाभा अटेन्शन आहे, म्हणजे प्रत्येक शब्दाची त्याच्या आधीच्या शब्दांशी तुलना करण्याची पायरी. ते कसे चालते ते २०१७ च्या ट्रान्सफॉर्मर शोधनिबंधावरील आमचे स्पष्टीकरण सांगते.

मजकूर वाढतो तेव्हा खर्च दिसतो. NVIDIA च्या Nemotron-H शोधनिबंधानुसार एक टोकन (शब्द किंवा शब्दाचा तुकडा) बनवण्यासाठी सेल्फ-अटेन्शन थर आतापर्यंत पाहिलेल्या टोकनांच्या संख्येनुसार वाढणारे काम करतो, आणि आधीच्या निकालांचा साठाही ठेवावा लागतो, ज्याला KV कॅश म्हणतात आणि ज्याचा आकार मजकुराच्या लांबीच्या प्रमाणात वाढतो. DeepSeek V4.1-Flash वरील आमचा लेख KV कॅश तपशीलवार समजावतो. IBM तोच मुद्दा दुसऱ्या प्रकारे मांडते: इनपुटची लांबी दुप्पट झाली, तर ट्रान्सफॉर्मरला संपूर्ण इनपुटवर चौपट गणिते करावी लागतात.

ठरावीक आकाराची वही

एका वाचकाला ठरावीक आकाराची एक वही वापरायची परवानगी आहे अशी कल्पना करा. प्रत्येक शब्दानंतर वाचक काय लिहायचे आणि काय खोडायचे ते ठरवतो, आणि मजकूराकडे कधीच परत पाहत नाही. वही कधी मोठी होत नाही, त्यामुळे मजकूर दहा शब्दांचा असो किंवा दहा लाख शब्दांचा, प्रत्येक नव्या शब्दाला तेवढेच श्रम पडतात. त्याची किंमत अशी की वहीने जे ठेवले नाही ते गेले.

ही उपमा या लेखाची स्वतःची आहे. गू आणि दाओ आपल्या Mamba शोधनिबंधात हे संदर्भ लहान अवस्थेत संकुचित करणे असे मांडतात: त्यांच्या शब्दांत अटेन्शन प्रभावी आणि अकार्यक्षम आहे कारण ते संदर्भ अजिबात संकुचित करत नाही, तर मर्यादित अवस्था असलेले रेक्युरंट मॉडेल कार्यक्षम आहे पण ती अवस्था संदर्भ किती चांगला धरते यावर मर्यादित आहे. स्टेट-स्पेस मॉडेलमध्ये “अवस्था” म्हणजे वही.

२०२१ मधील S4: खूप लांब क्रमांपर्यंत पोहोचणारे स्टेट-स्पेस थर

स्टेट-स्पेस मॉडेले नियंत्रण अभियांत्रिकीतून आली आहेत, आणि २०२१ पर्यंत त्यांची एक ज्ञात कमकुवतता होती. गू, गोएल आणि रे (स्टॅनफर्ड) यांनी ३१ ऑक्टोबर २०२१ रोजी प्रसिद्ध केलेल्या S4 शोधनिबंधाच्या सारांशात लिहिले की पारंपरिक मॉडेले “१०,००० किंवा अधिक पायऱ्यांच्या खूप लांब क्रमांपर्यंत वाढवताना अडखळतात”, आणि आधीचा स्टेट-स्पेस दृष्टिकोन सर्वसाधारणपणे वापरण्यासाठी गणन आणि मेमरीच्या दृष्टीने खूप महाग होता. S4 ने थर मांडण्याची पद्धत बदलली जेणेकरून त्याचे गणन खूपच कार्यक्षमतेने करता येईल.

लेखक सिक्वेन्शियल CIFAR-10 (एक प्रतिमा-वर्गीकरण चाचणी, जी एका लांब क्रमासारखी वाचली जाते) वर डेटा ऑगमेंटेशनविना ९१% अचूकता नोंदवतात, जी मोठ्या 2-D ResNet च्या बरोबरीची आहे. ते Path-X सोडवल्याचेही नोंदवतात, १६,००० लांबीच्या क्रमांचे काम, ज्यावर त्यांच्या शब्दांत सर्व आधीचे काम अयशस्वी ठरते, आणि प्रतिमा आणि भाषा मॉडेलिंगच्या कामांवर ट्रान्सफॉर्मरपेक्षा ६० पट वेगवान निर्मिती, तसेच गुणवत्तेतील बरीच दरी बुजवल्याचे. हे लेखकांचे निकाल आहेत.

२०२३ मधील Mamba: काय ठेवायचे ते मॉडेलला निवडू देणे

S4 थराने प्रत्येक इनपुटवर तेच ठरावीक नियम लावले. गू आणि दाओ यांचा बदल असा की थराचे पॅरामीटर सध्याच्या इनपुटवर अवलंबून केले, जेणेकरून मॉडेल, त्यांच्या शब्दांत, क्रमाच्या बाजूने “माहिती निवडकपणे पुढे नेऊ किंवा विसरू शकते”. शोधनिबंध याला हार्डवेअर-जाणीव असलेल्या अल्गोरिदमची जोड देतो, जो थराचे गणन जीपीयूवर (ग्राफिक्स प्रोसेसर, बहुतेक एआय काम चालवणारी चिप) कार्यक्षमतेने करतो, आणि अटेन्शन किंवा नेहमीचे फीड-फॉरवर्ड ब्लॉक यांपैकी काहीही न वापरणाऱ्या सुलभ नेटवर्कचीही.

शोधनिबंध नोंदवतो की प्रशिक्षणात मेमरी आणि गणन क्रमाच्या लांबीनुसार रेषीय वाढतात, आणि आधीच्या घटकांचा कॅश नसल्याने निर्मितीची प्रत्येक पायरी स्थिर वेळ घेते. एका A100 80 GB जीपीयूवर २,०४८ टोकनचा प्रॉम्प्ट आणि १२८ निर्मित टोकनसह केलेल्या वेग चाचणीत, Mamba ने तुलनेच्या आकाराच्या ट्रान्सफॉर्मरच्या ४ ते ५ पट अनुमान थ्रूपुट (प्रति सेकंद तयार होणारे शब्द) गाठले, अंशतः KV कॅश नसल्याने ते खूप मोठे बॅच वापरू शकले म्हणून. सारांश हे ५ पट असे पूर्णांकात देतो. लेखक असेही नोंदवतात की त्यांचे ३ अब्ज पॅरामीटरचे Mamba त्यांच्या चाचण्यांत समान आकाराच्या ट्रान्सफॉर्मरपेक्षा सरस ठरले आणि दुप्पट आकाराच्या ट्रान्सफॉर्मरशी बरोबरी केली. त्यांनी कोड आणि प्रशिक्षित चेकपॉइंट प्रसिद्ध केले.

२०२४ मधील Mamba-2: अटेन्शन आणि स्टेट-स्पेस मॉडेले जवळची नातेवाईक निघतात

दाओ आणि गू यांचा दुसरा शोधनिबंध, ३१ मे २०२४ रोजी “Transformers are SSMs” म्हणून प्रसिद्ध, असा युक्तिवाद करतो की ही दोन कुटुंबे जवळची संबंधित आहेत. त्यांची “स्टेट स्पेस ड्युअॅलिटी” चौकट स्टेट-स्पेस मॉडेले आणि अटेन्शनचे प्रकार यांना संरचित मॅट्रिक्सांच्या वर्गातून जोडते. व्यावहारिक परिणाम म्हणजे Mamba-2, ज्याचा गाभा थर Mamba च्या २ ते ८ पट वेगवान आहे असे लेखक सांगतात, आणि जो खूप मोठा चालू सारांश धरू शकतो. ते नोंदवतात की Pile या खुल्या मजकूर संग्रहातील ३०० अब्ज टोकनवर प्रशिक्षित २.७ अब्ज पॅरामीटरच्या Mamba-2 ने त्याच आकडेवारीवर प्रशिक्षित मूळ Mamba 2.8B आणि Pythia 2.8B व 6.9B मॉडेलांना मागे टाकले.

वही एकटी पुरेशी का नाही

ठरावीक वही तपशील गमावू शकते, म्हणूनच हायब्रिड काही अटेन्शन ठेवतात. Jamba शोधनिबंधाने हे थेट तपासले. १.३ अब्ज पॅरामीटर आणि २५० अब्ज प्रशिक्षण टोकनवर, केवळ अटेन्शन मॉडेल, केवळ Mamba मॉडेल आणि मिश्रण यांना IMDB वर, म्हणजे चित्रपट परीक्षणे सकारात्मक की नकारात्मक अशी लेबले लावण्याच्या चाचणीवर, खालीलप्रमाणे गुण मिळाले.

मॉडेलIMDBQuACNarrativeQA
केवळ अटेन्शन८४.१२७.९४५.८
केवळ Mamba४८.८२०.२२७.७
अटेन्शन आणि Mamba मिश्र९०.९२६.६४३.७

QuAC आणि NarrativeQA प्रश्न-उत्तर चाचण्या आहेत. Jamba लेखक नोंदवतात की केवळ Mamba मॉडेलने IMDB वर उत्तराचे स्वरूप अनेकदा मोडले, दोन परवानगी असलेल्या लेबलांऐवजी “Very Good” किंवा “3/10” असे उत्तर दिले, आणि ते याचा संबंध इन-कॉन्टेक्स्ट लर्निंगशी जोडतात, म्हणजे प्रॉम्प्टमधील उदाहरणांवरून एखादे काम शिकून घेण्याच्या क्षमतेशी. ५० अब्ज टोकननंतर ७ अब्ज पॅरामीटरवर त्यांना केवळ Mamba “बरेच स्पर्धात्मक” पण अटेन्शनपेक्षा थोडे मागे आढळले, आणि मिश्र मॉडेल दोन्हींपेक्षा पुढे. Zamba2 अहवाल आणि IBM ची घोषणा हाच मुद्दा मांडतात, की केवळ स्टेट-स्पेस मॉडेले इन-कॉन्टेक्स्ट लर्निंगमध्ये कमी पडतात.

Mamba-2 शोधनिबंधाने हायब्रिडला किती अटेन्शन लागते ते तपासले. ४८ थरांच्या ३५ कोटी पॅरामीटरच्या मॉडेलवर, परप्लेक्सिटी (मॉडेलला खऱ्या मजकुराचे किती आश्चर्य वाटते याचा गुण, जिथे कमी म्हणजे चांगले) केवळ Mamba-2 साठी ८.६०, सर्व-ट्रान्सफॉर्मर पद्धतीसाठी ८.६८ आणि सहा अटेन्शन थरांसह ८.२६ होती. लेखकांना आढळले की सुमारे १०% थर अटेन्शन असणे सर्वोत्तम ठरले. ते गृहीतक म्हणून सुचवतात की स्टेट-स्पेस थर सर्वसाधारण क्रम प्रक्रिया हाताळतात, तर अटेन्शन थर शोध साधनासारखे काम करतात, जे सर्व काही आपल्या अवस्थेत कोंबायला मॉडेलला भाग पाडण्याऐवजी आधीच्या टोकनांकडे मागे उडी मारू शकते.

निर्मात्यांच्या स्वतःच्या शब्दांत चार हायब्रिड

तक्ता प्रत्येक स्रोताने सांगितलेला अटेन्शनचा वाटा देतो. स्रोत थर वेगळ्या प्रकारे मोजतात (उदाहरणार्थ Nemotron-H फीड-फॉरवर्ड थर वेगळे नोंदवते), त्यामुळे हे वाटे जवळचे आहेत पण एकसारखे मापदंड नाहीत.

मॉडेलतारीखरचनेतील अटेन्शन, स्रोताने सांगितल्याप्रमाणे
Jamba (AI21)२८ मार्च २०२४प्रत्येक ७ Mamba थरांमागे १ अटेन्शन थर
Zamba2 (Zyphra)२२ नोव्हेंबर २०२४Mamba-2 पाठीचा कणा, एक किंवा दोन सामायिक अटेन्शन ब्लॉकसह, ज्यांचे वेट्स पुन्हा वापरले जातात
Nemotron-H (NVIDIA)४ एप्रिल २०२५सुमारे ८% थर: 8B मॉडेलमध्ये ५२ पैकी ४, 56B मध्ये ११८ पैकी १०
Granite 4.0-H (IBM)२ ऑक्टोबर २०२५तिन्ही हायब्रिड आकारांत ४ अटेन्शन आणि ३६ Mamba-2 थर, ९ ते १ प्रमाण

Jamba अटेन्शन आणि Mamba थर आलटून पालटून ठेवते आणि मिक्स्चर ऑफ एक्स्पर्ट्स जोडते (अशी रचना जिथे प्रत्येक शब्द काही उप-नेटवर्कांकडे पाठवला जातो, जी आमच्या स्पष्टीकरणात आहे). प्रसिद्ध मॉडेलात एकूण ५२ अब्ज पॅरामीटर आहेत, एका वेळी १२ अब्ज सक्रिय, आणि ते Apache 2.0 परवान्याखाली २,५६,००० टोकनच्या संदर्भाला समर्थन देते. शोधनिबंधाचा तक्ता १६ बिट संख्यांमध्ये २,५६,००० टोकनवरील KV कॅश Jamba साठी ४ GB, Mixtral साठी ३२ GB आणि Llama-2 6.7B साठी १२८ GB असा देतो. लेखक चार A100 जीपीयूवर १,२८,००० टोकनवर Mixtral च्या ३ पट थ्रूपुटही नोंदवतात. AI21 Jamba ला पहिले उत्पादन-दर्जाचे Mamba-आधारित मॉडेल म्हणते, जे कंपनीचे स्वतःचे वर्णन आहे.

Zyphra चे Zamba2 १.२, २.७ आणि ७.४ अब्ज पॅरामीटर आकारांत येते. अहवाल सांगतो की वेट्स Apache 2.0 अंतर्गत खुले आहेत, प्रशिक्षण डेटासेट (Zyda-2) देखील खुला आहे, आणि मॉडेले तीन ट्रिलियन टोकनपर्यंत प्रशिक्षित केली गेली. Zyphra म्हणते की मॉडेले त्यांच्या आकाराच्या आघाडीच्या खुल्या-वेट मॉडेलांची बरोबरी करतात किंवा त्यांना मागे टाकतात, लेटन्सी, थ्रूपुट आणि मेमरी वापरात सुधारणांसह, जी कंपनीची स्वतःची तुलना आहे.

NVIDIA च्या Nemotron-H शोधनिबंधानुसार त्याने बहुतेक अटेन्शन थर Mamba थरांनी बदलले, ज्यांना प्रत्येक निर्मित टोकनसाठी स्थिर मेमरी लागते. NVIDIA समान अचूकतेवर तुलनेच्या आकाराच्या ट्रान्सफॉर्मरपेक्षा ३ पट वेगवान अनुमान नोंदवते. चाचणीत ६५,५३६ टोकनचे इनपुट आणि १,०२४ निर्मित टोकन, H100 जीपीयू, Nemotron-H साठी NVIDIA ची स्वतःची सुरुवातीची अंमलबजावणी, आणि तुलनेच्या मॉडेलांसाठी vLLM सर्व्हिंग सॉफ्टवेअर वापरले. 56B मॉडेलसाठी NVIDIA ने प्रति जीपीयू आउटपुट Qwen-2.5-72B आणि Llama-3.1-70B च्या २.४ पट मोजले. शोधनिबंध पुढे म्हणतो की ट्रान्सफॉर्मर अनेक वर्षे जोमाने ऑप्टिमाइझ केले गेले आहेत आणि Nemotron-H साठी आणखी वेगवाढ अपेक्षित आहे.

NVIDIA चे नंतरचे Nemotron 3 कुटुंब, त्याच्या कुटुंब पानानुसार (१५ डिसेंबर २०२५ रोजी प्रसिद्ध) आणि श्वेतपत्रिकेनुसार (२४ डिसेंबर २०२५), मिक्स्चर-ऑफ-एक्स्पर्ट्स हायब्रिड Mamba-Transformer रचना वापरते. पान १० लाख टोकनपर्यंतचा संदर्भ नोंदवते आणि Nano मॉडेलचे वर्णन एकूण ३१.६ अब्ज पॅरामीटर, ३.२ अब्ज सक्रिय असे करते. NVIDIA एका H200 जीपीयूवर ८,००० टोकन इनपुट आणि १६,००० आउटपुटवर Qwen3-30B-A3B च्या ३.३ पट थ्रूपुट नोंदवते. १९ नोव्हेंबर २०२६ रोजी वाचलेल्या पानावर Nemotron 3 Ultra प्रसिद्ध झाल्याचे सांगणारी अद्यतन नोंद आहे, आणि त्याची तारीख दिलेली नाही.

IBM च्या Granite 4.0 मध्ये तीन हायब्रिड मॉडेले आहेत: H-Small (३२ अब्ज पॅरामीटर, ९ अब्ज सक्रिय), H-Tiny (७ अब्ज, १ अब्ज सक्रिय) आणि H-Micro (३ अब्ज, डेन्स), शिवाय हायब्रिड अजून चालवू न शकणाऱ्या प्लॅटफॉर्मसाठी ३ अब्ज पॅरामीटरचे पारंपरिक ट्रान्सफॉर्मर. IBM म्हणते की हायब्रिड कोणतेही पोझिशनल एन्कोडिंग वापरत नाहीत, म्हणजे ट्रान्सफॉर्मरला शब्दांचा क्रम सांगणारा जोडलेला संकेत, कारण Mamba टोकन क्रमाने वाचते. IBM असेही म्हणते की हायब्रिड रचना कार्यक्षमतेत भर घालते, पण Granite 3.3 पेक्षा Granite 4.0 च्या अचूकतेतील बहुतेक वाढ चांगल्या प्रशिक्षण डेटा आणि पद्धतींमधून येते, कारण त्याचे पारंपरिक 3B मॉडेलही जुन्या 8B मॉडेलला मागे टाकते. ७०% मेमरीचा आकडा पारंपरिक ट्रान्सफॉर्मर मॉडेलांविरुद्ध IBM चाच दावा आहे.

सर्वमचे Saaras V4

सर्वमने Saaras V4 २५ सप्टेंबर २०२६ रोजी प्रसिद्ध केले. त्याची पोस्ट सांगते की हे वाक्-ओळख प्रणाली ऑडिओ एन्कोडरला ३ अब्ज पॅरामीटरच्या भाषा-मॉडेल डीकोडरशी जोडते, ज्याचे वर्णन “हायब्रिड स्टेट स्पेस मॉडेल” असे केले आहे आणि जे घरातच सुरुवातीपासून प्रशिक्षित केले आहे. पोस्ट Mamba किंवा थरांच्या नेमक्या रचनेचे नाव घेत नाही, Saaras V4 REST API आणि बॅच API द्वारे देते, आणि मॉडेलच्या वेट्सच्या प्रकाशनाचे वर्णन करत नाही. Saaras V4 वरील आमचा लेख त्याच्या २२ भाषा आणि चाचणी निकाल व्यापतो.

स्रोत काय दाखवत नाहीत

वर दिलेला प्रत्येक वेगाचा आकडा निर्मात्याचा स्वतःचा आहे आणि वेगळ्या मॉडेलवर, वेगळ्या हार्डवेअरवर, वेगळ्या तुलनेच्या आधाराविरुद्ध मोजलेला आहे: Mamba शोधनिबंधात ५ पट, Mamba-2 थरासाठी २ ते ८ पट, Nemotron-H मध्ये ३ पट आणि Nemotron 3 Nano साठी ३.३ पट. ते एकमेकांशी तुलनीय नाहीत, आणि हा लेख त्यांची बेरीज करत नाही.

उघडलेल्या कोणत्याही पानावर आजच्या सर्वांत मोठ्या मॉडेलांच्या प्रमाणावर हायब्रिड आणि शुद्ध ट्रान्सफॉर्मर यांची स्वतंत्र आमनेसामने तुलना नाही, आणि दुसऱ्या प्रयोगशाळेचे कोणतेही चॅट उत्पादन Mamba थर वापरते असेही कोणतेही पान सांगत नाही. Saaras V4 ची रचना हे सर्वमचे स्वतःच्या प्रणालीचे वर्णन आहे. Granite 4.0 ची घोषणा सांगते की त्याची मॉडेले ५,१२,००० टोकन लांबीपर्यंतच्या नमुन्यांवर प्रशिक्षित झाली आणि १,२८,००० टोकनपर्यंतच्या कामांवर पडताळली गेली.

Share
Copied!

स्रोत आणि पुढील वाचन

  1. arXiv: Gu, Goel and Ré, Efficiently Modeling Long Sequences with Structured State Spaces (S4, 31 October 2021)
  2. arXiv: Gu and Dao, Mamba: Linear-Time Sequence Modeling with Selective State Spaces (1 December 2023)
  3. arXiv: Dao and Gu, Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (31 May 2024)
  4. arXiv: Lieber et al., Jamba: A Hybrid Transformer-Mamba Language Model (28 March 2024)
  5. AI21: Introducing Jamba (28 March 2024)
  6. arXiv: Glorioso et al., The Zamba2 Suite: Technical Report (Zyphra, 22 November 2024)
  7. arXiv: NVIDIA, Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models (4 April 2025)
  8. NVIDIA Research: NVIDIA Nemotron 3 Family of Models (published 15 December 2025)
  9. arXiv: NVIDIA, NVIDIA Nemotron 3: Efficient and Open Intelligence (24 December 2025)
  10. IBM: IBM Granite 4.0, hyper-efficient, high performance hybrid models for enterprise (2 October 2025)
  11. Hugging Face: ibm-granite/granite-4.0-h-small model card
  12. Sarvam AI: Introducing Saaras V4 (25 September 2026)

हा लेख AI साधनांच्या मदतीने संशोधित आणि लिहिला गेला असून अचूकतेसाठी संपादित केला आहे. हा केवळ सर्वसाधारण माहिती आणि चर्चेसाठी आहे, व्यावसायिक सल्ला नाही. आमचे संपादकीय मानक आणि अस्वीकरण पाहा. चूक आढळली? आम्हाला कळवा.

#mamba#state space models#hybrid models#jamba#nemotron#ibm granite#sarvam ai#long context

आवडलं? पुढचा लेख मिळवा.

एका वेळी एक चांगला लेख, थेट तुमच्या इनबॉक्समध्ये. स्पॅम नाही, हवं तेव्हा थांबवा.

याच विभागात आणखी: एआय आणि तंत्रज्ञान
Google च्या आठ लेखकांनी १२ जून २०१७ रोजी Transformer शोधनिबंध प्रसिद्ध केला, आणि त्यातील मोठ्या मॉडेलने आठ GPU वर ३.५ दिवस प्रशिक्षणानंतर इंग्रजी ते जर्मन भाषांतरात २८.४ BLEU गुण मिळवले
आजच्या चॅटबॉटमागच्या रचनेची सफर, शोधनिबंधाच्याच तक्त्यांसह आणि नदीकडे पाहावे लागणाऱ्या शब्दाच्या Google च्याच उदाहरणासह. २०१७ च्या रचनेचे कोणते भाग नंतरच्या मॉडेलांनी ठेवले, बदलले किंवा सोडले, तेही यात आहे.
१० सप्टेंबर २०२६ रोजी प्रसिद्ध झालेल्या DeepSeek च्या ५५२ अब्ज पॅरामीटरच्या खुल्या वजनांच्या V4.1-Flash ने प्रति टोकन स्मृती कॅश ८९० बाइटपर्यंत आणला, जो आधीच्या मॉडेलच्या सुमारे एक चतुर्थांश आहे
लांब संभाषणाची मॉडेलची अल्पकालीन स्मृती सांभाळणे महागडे असते. DeepSeek चे सप्टेंबरचे प्रकाशन ती रचनेतूनच संकुचित करते, आणि त्याचा स्वतःचा अहवाल सांगतो की मॉडेल अजूनही कुठे मागे आहे. येथे यंत्रणा, २०२४ पासूनची कालरेषा आणि बाहेरच्यांनी काय तपासले ते आहे.
सर्वमचे १०५ अब्ज पॅरामीटरचे मॉडेल प्रत्येक टोकनसाठी त्यांपैकी १०.३ अब्जांनी गणन करते, १९९१ च्या शोधनिबंधापासून Mixtral आणि डीपसीकपर्यंत पोहोचलेल्या मिक्स्चर-ऑफ-एक्स्पर्ट्स रचनेचा वापर करून
एक छोटा राउटर प्रत्येक शब्द १२८ उप-नेटवर्कांपैकी काहींकडे पाठवतो, त्यामुळे कोणत्याही एका शब्दासाठी मॉडेलचा बहुतेक भाग निष्क्रिय राहतो. ही रचना कुठून आली, Mixtral, डीपसीक आणि सर्वम ती कशी वापरतात, आणि ती काय वाचवत नाही, ते इथे.
← सर्व लेख