Skip to content
भारतजेनचे Param2, फेब्रुवारी २०२६ मध्ये प्रसिद्ध, इंग्रजी आणि सर्व २२ अनुसूचित भारतीय भाषांसाठी १७ अब्ज पॅरामीटरचे मॉडेल आहे, जे प्रत्येक टोकनसाठी २.४ अब्ज पॅरामीटर वापरते
एआय आणि तंत्रज्ञान

भारतजेनचे Param2, फेब्रुवारी २०२६ मध्ये प्रसिद्ध, इंग्रजी आणि सर्व २२ अनुसूचित भारतीय भाषांसाठी १७ अब्ज पॅरामीटरचे मॉडेल आहे, जे प्रत्येक टोकनसाठी २.४ अब्ज पॅरामीटर वापरते

चित्रण: tuput

मराठी

आयआयटी मुंबईच्या नेतृत्वाखालील भारतजेन संघाने फेब्रुवारी २०२६ मधील इंडिया एआय इम्पॅक्ट समिटमध्ये Param2 प्रसिद्ध केले. हे मिक्स्चर-ऑफ-एक्स्पर्ट्स रीझनिंग मॉडेल सुमारे २२.५ ट्रिलियन टोकनवर सुरुवातीपासून पूर्व-प्रशिक्षित केल्याचे भारतजेन सांगते, आणि त्याचे वेट्स बिगर-व्यावसायिक संशोधन परवान्याखाली डाउनलोडसाठी ठेवले आहेत.

· · 8 मिनिटांचे वाचन

सरकारी निधीतून चालणाऱ्या, आयआयटी मुंबईच्या नेतृत्वाखालील भारतजेन संघाने १६ फेब्रुवारी २०२६ च्या आठवड्यात नवी दिल्लीतील इंडिया एआय इम्पॅक्ट समिटमध्ये Param2 प्रसिद्ध केले. हे १७ अब्ज पॅरामीटरचे भाषा मॉडेल आहे. पॅरामीटर म्हणजे मॉडेल प्रशिक्षणात शिकणारे समायोज्य आकडे. त्यांपैकी सुमारे २.४ अब्ज कोणत्याही एका टोकनवर काम करतात, म्हणजे शब्दावर किंवा शब्दाच्या तुकड्यावर. संघ सांगतो की मॉडेल सुरुवातीपासून पूर्व-प्रशिक्षित केले आहे, दुसऱ्या कोणाच्या मॉडेलवरून नाही, आणि ते इंग्रजी आणि भारताच्या आठव्या अनुसूचीतील सर्व २२ भाषा हाताळते. संघ सांगतो की वेट्स Hugging Face आणि AIKosh वर आहेत. AIKosh हे इंडियाएआय मिशनचे मॉडेल आणि डेटासेटचे ग्रंथालय आहे.

तारखेबद्दल स्रोतांत फरक आहे. बिझनेस टुडे प्रकाशन १६ फेब्रुवारीला झाल्याचे सांगते, भारतजेनची प्रकाशनाची पोस्ट आणि पत्र सूचना कार्यालयाचे (PIB) निवेदन १७ फेब्रुवारीचे आहे, आणि बिझनेस स्टँडर्डने घोषणा १८ फेब्रुवारीला नोंदवली. खाली दिलेला प्रत्येक कामगिरीचा आकडा भारतजेनचा स्वतःचा आहे, आणि तपासलेल्या कोणत्याही पानावर संघाबाहेरील कोणी Param2 ची चाचणी घेतल्याची नोंद नाही.

नऊ संस्था, पैशाचे दोन स्रोत

संघाच्या १५ ऑक्टोबर २०२६ च्या दोन वर्षांच्या आढाव्यानुसार नऊ संस्थांचा संघ बनलेला आहे: आयआयटी मुंबई, आयआयआयटी हैदराबाद, आयआयटी मंडी, आयआयटी कानपूर, आयआयटी हैदराबाद, आयआयएम इंदूर, आयआयआयटी दिल्ली, आयआयटी मद्रास आणि आयआयटी खरगपूर. ऑक्टोबर २०२४ मध्ये नवी दिल्लीत सुरू झाल्यापासून विज्ञान आणि तंत्रज्ञान विभागाने त्याला पाठबळ दिले आहे. १७ फेब्रुवारी २०२६ चे PIB निवेदन निधी असा देते: विभागाच्या राष्ट्रीय आंतरविद्याशाखीय सायबर-फिजिकल प्रणाली अभियानातून २३५ कोटी रुपये, आणि इंडियाएआय मिशनकडून आणखी १,०५८ कोटी रुपयांची तरतूद. त्या मिशनचे अनुदान कसे चालते ते इंडियाएआय मिशनचे जीपीयू, मॉडेल आणि पैसा यावरील लेखात मांडले आहे.

Param2 हे Param1 नंतर आले. Param1 हे हिंदी आणि इंग्रजीसाठीचे २.९ अब्ज पॅरामीटरचे मॉडेल होते, ज्याचे वर्णन भारतजेनने १६ जुलै २०२५ रोजी arXiv प्रीप्रिंटमध्ये केले. आढाव्यानुसार Param1 चे प्रशिक्षण ७.५ ट्रिलियन टोकनवर झाले. सात महिन्यांनंतर, या आकड्यांवरून तुपुटच्या गणितानुसार, Param2 मध्ये एकूण पॅरामीटर जवळपास सहा पट, प्रशिक्षणाचा मजकूर सुमारे तीन पट आणि दोनऐवजी २३ भाषा आहेत.

भारतजेनच्या म्हणण्यानुसार संगणन शक्ती इंडियाएआय मिशनमार्फत आली. तिचे मुख्य कार्यकारी ऋषी बाल यांनी १६ फेब्रुवारीला बिझनेस टुडेला सांगितले की मिशनकडून आतापर्यंत वापरलेले जीपीयू Param2 च्या प्रशिक्षणात गेले आणि प्रकल्पाने त्यांपैकी सुमारे ४,००० एका महिन्याहून अधिक काळ वापरले. मॉडेल कार्डनुसार प्रशिक्षण NVIDIA H100 जीपीयूवर NVIDIA च्या NeMo सॉफ्टवेअरने २४ दिवस चालले, आणि बिझनेस स्टँडर्डने NVIDIA ने प्रशिक्षण पाइपलाइनवर सहकार्य केल्याचे नोंदवले. कार्ड किंवा पोस्ट जीपीयूची संख्या देत नाही, आणि कार्डने जीपीयू तास म्हणून दिलेले ५७६ तास २४ दिवसांच्या प्रत्यक्ष कालावधीइतके आहेत, त्यामुळे प्रसिद्ध आकड्यांवरून या दोन्ही वृत्तांची तुलना करता येत नाही.

सतरा अब्ज साठवलेले, २.४ अब्ज कामावर

रचनेनुसार हे मिक्स्चर-ऑफ-एक्स्पर्ट्स मॉडेल आहे. प्रत्येक टोकन संपूर्ण नेटवर्कमधून नेण्याऐवजी, एक छोटा राउटर प्रत्येकासाठी काही विशेषज्ञ उप-नेटवर्क निवडतो, ज्यांना तज्ज्ञ म्हणतात. Hugging Face ची कॉन्फिगरेशन फाइल २१ थरांत ६४ राउट केलेले तज्ज्ञ दाखवते, प्रत्येक टोकनसाठी ६ निवडले जातात, शिवाय नेहमी चालणारे २ सामायिक तज्ज्ञ आहेत. त्यांतील पहिला थर सामान्य डेन्स थर आहे. अटेन्शन ३२ क्वेरी हेड वापरते जे ८ की आणि व्हॅल्यू हेड सामायिक करतात. मिक्स्चर-ऑफ-एक्स्पर्ट्सवरील स्पष्टीकरण १९९१ च्या शोधनिबंधापासून सर्वमच्या १०५ अब्ज पॅरामीटरच्या मॉडेलपर्यंत या रचनेचा प्रवास मांडते.

रुग्णालय ही भारतजेनचीच उपमा आहे: रुग्ण एका सामान्य वैद्याला आणि काही संबंधित विशेषज्ञांना भेटतो, इमारतीतील प्रत्येक डॉक्टरला नाही. मॉडेल कार्डनुसार दोन सामायिक तज्ज्ञ भाषांमध्ये स्थिर प्रतिनिधित्व टिकवतात, ज्यामुळे कोड-स्विचिंगला, म्हणजे एकाच वाक्यात हिंदी आणि इंग्रजीची सरमिसळ होण्याला, मदत होते, आणि मॉडेल एका भाषेत जे शिकते ते इतरांत जाऊ शकते. भारतजेन सांगते की प्रत्येक टोकनसाठी संगणन फक्त सुमारे २.४ अब्ज पॅरामीटरवर जाते, त्यामुळे मॉडेल खूप लहान मॉडेलच्या खर्चात चालते.

मेमरी हा खर्च आहे. एका वेळी फक्त काही भाग काम करत असला तरी प्रत्येक पॅरामीटर लोड राहतो, आणि Hugging Face चे पान साठवलेल्या वेट्समध्ये १७,१५१,१२५,३७६ पॅरामीटर मोजते, एकूण ३४.३ GB च्या फाइलींमध्ये. हे भारतजेनची पोस्ट मॉडेल bfloat16, म्हणजे १६ बिटांच्या संख्या प्रकारात, लोड करण्यासाठी जे ३४ GB जीपीयू मेमरी सांगते त्याच्याशी जुळते.

ते कशावर प्रशिक्षित झाले

मॉडेल कार्डवर तीन पूर्व-प्रशिक्षण टप्पे दिसतात. पहिल्या टप्प्यात १४.०५ ट्रिलियन टोकन आहेत, त्यांत इंग्रजी ८.५ ट्रिलियन, कोड १.८३ ट्रिलियन, हिंदी ९९८.६ अब्ज टोकन आणि इतर भारतीय भाषांचे मिळून १.५ ट्रिलियन टोकन. तुपुटच्या गणितानुसार हिंदी आणि इतर भारतीय भाषा त्याचा सुमारे १८ टक्के भाग आहेत. दुसरा टप्पा इंग्रजी, कोड, गणित, सूचना आणि रीझनिंग डेटावर भर देतो, आणि ५०० अब्ज टोकनचा तिसरा टप्पा दीर्घ-संदर्भ पूर्व-प्रशिक्षण म्हणून नोंदवला आहे. भारतीय भाषांचा डेटा २२ भाषांसाठी बनवलेल्या गुणवत्ता वर्गीकारकांनी गाळला गेला, असे भारतजेन सांगते.

सुमारे २२.५ ट्रिलियन टोकन हा कार्डचा मुख्य आकडा आहे, आणि त्याची एकत्रित बेरीज २२.६३ ट्रिलियन येते. कार्डवर दिलेल्या दुसऱ्या टप्प्याच्या ओळींची बेरीज ८.०८ ट्रिलियन या सांगितलेल्या टप्प्याच्या एकूणाच्या तुलनेत ७.१४ ट्रिलियन टोकन येते, म्हणजे सुमारे ०.९४ ट्रिलियनचा फरक, ज्याचे कार्ड स्पष्टीकरण देत नाही. अॅनालिटिक्स इंडिया मॅगझिनच्या प्रकाशनाच्या वृत्तात २२ ट्रिलियन दिले आहे.

टोकनायझर म्हणजे मजकूर टोकनांमध्ये कापणारा भाग, आणि Param2 चा स्वतःचा आहे. त्याच्या शब्दसंग्रहात १,२८,००० नोंदी आहेत, असे भारतजेन सांगते, तो बाइट पेअर एन्कोडिंगने बनवलेला आहे आणि सर्व लक्ष्य भाषांवर प्रशिक्षित आहे, त्यामुळे भारतीय भाषांतील शब्द जागतिक मॉडेलांपेक्षा कमी तुकड्यांत फुटतात. पोस्टमध्ये प्रति शब्द तुकड्यांचा आकडा दिलेला नाही. इतर संघांनी काय मोजले आहे ते भारतीय भाषांसाठी टोकनायझर फर्टिलिटीवरील लेखात आहे. त्याची संदर्भ खिडकी, म्हणजे एका वेळी वाचता येणाऱ्या मजकुराचे प्रमाण, ३२,७६८ टोकन आहे.

कोडमध्ये तेलुगू टिप्पण्या असलेले रीझनिंग मॉडेल

Hugging Face वर ठेवलेली आवृत्ती रीझनिंग मॉडेल आहे. उत्तर देण्यापूर्वी ते think टॅगांच्या मध्ये पायरी-पायरीचा मागोवा लिहिते, आणि रिपॉझिटरीत एक लहान पार्सर आहे जो हा मागोवा, कोणतेही टूल कॉल आणि अंतिम उत्तर वेगळे करतो. कोड, गणित आणि टूल कॉलिंगही हाताळले जाते, असे पोस्ट सांगते, आणि मॉडेल कार्ड तीन नमुना उत्तरे दाखवते: अनेक पायऱ्यांचे सरासरीचे गणित, प्रत्येक टिप्पणी तेलुगूत लिहिलेला Python चा बायनरी सर्च, आणि भारतीय राज्यांमध्ये भाषा, अन्न आणि सण का वेगळे आहेत यावरील हिंदी उत्तर.

२२ भाषा या आठव्या अनुसूचीतील आहेत, ज्यांची यादी आमचे स्पष्टीकरण देते. हिंदी, मराठी, गुजराती आणि तमिळ सर्वांत सक्षम भाषांत आहेत, असे पोस्ट सांगते, आणि भाषेला किती प्रशिक्षण डेटा आहे त्यानुसार गुणवत्ता बदलते.

गुण, आणि फरक असलेले दोन तक्ते

दोन्हींमध्ये तुलनेसाठी चार खुली मॉडेले आहेत: Qwen1.5-MoE-A2.7B, DeepSeek-R1-Distill-Qwen-14B, DeepSeek-V2-Lite आणि gpt-oss-20b. गुण झिरो-शॉट आहेत, म्हणजे प्रॉम्प्टमध्ये सोडवलेली उदाहरणे नाहीत. ते LM Evaluation Harness या खुल्या चाचणी साधनाने चालवले आहेत, आणि प्रत्येक मॉडेलसाठी थिंकिंग बंद ठेवले आहे. त्यामुळे रीझनिंगचा मागोवा काय भर घालतो ते हे आकडे दाखवत नाहीत, असे पोस्ट सांगते.

इंग्रजी, गणित आणि कोडबाबत पोस्ट आणि कार्ड एकमत आहेत:

चाचणीParam2 चा गुणपाच मॉडेलांमधील क्रम
ARC Challenge (इंग्रजी)५६.८३पहिला
HellaSwag (इंग्रजी)७७.४३दुसरा
MMLU (इंग्रजी)५७.७९चौथा
GSM8K (गणित)५७.३२तिसरा
HumanEval (कोड)३६.५९पहिला
IFEval (सूचनांचे पालन)३४.०५दुसरा

भारतीय भाषांच्या चाचण्यांत दोन्हींमध्ये फरक आहे. १७ फेब्रुवारीच्या प्रकाशन पोस्टमध्ये Param2 पाचांत पहिले आहे: हिंदीतील MMLU ५९.२३, हिंदीतील HellaSwag ४९.६३, Indic BoolQ ७५.९८, ARC Challenge (Indic) ३६.३७ आणि TriviaQA (Indic बहुपर्यायी) ७२.९५, आणि Sanskriti सांस्कृतिक ज्ञान चाचणीत ६६.५४ वर तिसरे. १९ नोव्हेंबर २०२६ रोजी वाचलेले मॉडेल कार्ड त्याच सहा चाचण्यांसाठी त्याच क्रमाने ६४.१, ६४.१, ८७.७, ९०.१, ८४.१४ आणि ८८.६ देते, सहाही चाचण्यांत पहिले. दोन्हींत थिंकिंग बंद होते, आणि दोन्ही आवृत्त्यांत भारतीय भाषांच्या दोन्ही सरासरी १० भाषांवरील आहेत. Hugging Face कार्ड शेवटचे १८ नोव्हेंबर २०२६ रोजी बदलले गेल्याचे दाखवते, आणि मॉडेल किंवा चाचणीच्या सेटिंग बदलल्या का ते ते सांगत नाही. मॉडेलांच्या पानावर अजूनही पोस्टमधील आकडे आहेत, ज्यांना ते फेब्रुवारीची आवृत्ती म्हणते.

Param2 च्या प्रसिद्ध निकालांवर चर्चा करणारा एकमेव बाह्य दस्तऐवज सर्वेक्षण आहे, चाचणी नाही. १२ ऑगस्ट २०२६ च्या (१६ ऑगस्टला सुधारित) प्रीप्रिंटमध्ये अविनाश अग्रवाल आणि विधी जैन यांनी फक्त सार्वजनिकरीत्या नोंदवलेल्या गुणांचा वापर करून भारतीय फाउंडेशन मॉडेलांची तुलना केली. लेखक लिहितात की Param2 मर्यादित निकाल नोंदवते, जे भारतीय भाषांच्या चाचण्यांवर केंद्रित आहेत, आणि भारतीय मॉडेलांसाठी नोंदवलेले बहुतेक निकाल विकसकांचे स्वतःचे आहेत. Param2 चे प्रशिक्षण तात्पुरत्या आधारावर पूर्णतः स्वदेशी वर्गात ठेवले आहे, आणि त्या वर्गाचा प्रत्येक घटक आपण स्वतंत्रपणे पडताळला नाही, असे लेखक सांगतात.

तांत्रिक अहवालांच्या पानावर Param1, AyurParam आणि शेती सल्ला सहाय्यकावरील शोधनिबंध, आणि Param2 ची रीझनिंगसाठी चाचणी करणारा, सार्वभौम एआय स्टॅकवरील सप्टेंबर २०२६ ची श्वेतपत्रिका यांची नोंद आहे. १९ नोव्हेंबर २०२६ पर्यंत Param2 वर स्वतः एकही नाही. पोस्ट या प्रकाशनाला सुरुवातीचा पोस्ट-ट्रेनिंग चेकपॉइंट म्हणते, ज्याला उत्पादन वापरापूर्वी आणखी सूक्ष्म-समायोजन आणि सुरक्षा संरेखन लागेल, आणि बाल यांनी बिझनेस टुडेला सांगितले की हा असा चेकपॉइंट आहे जो विकसक सूक्ष्म-समायोजित करू शकतात.

कोण डाउनलोड करू शकते, आणि कोणत्या अटींवर

Hugging Face रिपॉझिटरी १६ फेब्रुवारी २०२६ रोजी तयार झाली आणि १८ नोव्हेंबर २०२६ रोजी शेवटची बदलली गेली. १९ नोव्हेंबरला पानावर एकूण १,६७,८७५ डाउनलोड आणि ८६ लाइक दिसले. त्याचे स्वतःचे मॉडेलांचे पान Param2 साठी १,६७,००० किंवा अधिक आणि Param कुटुंबासाठी २,१९,००० किंवा अधिक डाउनलोड सांगते. भारतजेन रुग्णालये, राज्य सरकारे, एक मंत्रालय आणि एक वृत्तकक्ष यांना आपल्या मॉडेलांवर उभारणी करणारे भागीदार म्हणून नोंदवते, आणि त्यांपैकी कोण Param2 वापरते ते त्याची पाने सांगत नाहीत. EKA-1 आणि धीर वरील तुपुटचा लेख इंडियाएआय मिशनच्या आणखी दोन मॉडेल प्रकाशनांना व्यापतो.

भारतजेनची पाने या प्रकाशनाला खुले वेट्स म्हणतात. त्याचा परवाना BharatGen Research License आहे, जो ७ ऑगस्ट २०२५ रोजी शेवटचा अद्यतनित झाला, आणि तो बिगर-व्यावसायिक संशोधन आणि शैक्षणिक हेतूंसाठी वापर, बदल आणि वितरणाला परवानगी देतो. व्यावसायिक वापरासाठी, मॉडेल किंवा त्याची व्युत्पन्ने सार्वजनिकरीत्या प्रसिद्ध करण्यासाठी, सूक्ष्म-समायोजित करण्यासाठी किंवा तैनात करण्यासाठी, आणि कोणत्याही होस्टेड सेवेतून किंवा एपीआयमधून, मोफत असली तरीही, ते देण्यासाठी भारतजेनच्या कायदेशीर चमूची लेखी परवानगी लागते. वापरकर्ते त्यांनी तयार केलेल्या आउटपुटचे मालक असतात, बिगर-व्यावसायिक मर्यादेच्या अधीन. त्यामुळे Param2 वर उत्पादन उभारू इच्छिणारी कंपनी आधी भारतजेनला लिहिते.

बाल यांनी फेब्रुवारीत सांगितले की “या वर्षभरात टप्प्याटप्प्याने मोठी मॉडेले” अपेक्षित आहेत. १९ नोव्हेंबर २०२६ पर्यंत भारतजेनचे मॉडेलांचे पान अजूनही Param2 ला आपले प्रमुख मॉडेल म्हणून नोंदवते, आणि मॉडेल कार्ड अजूनही सांगते की १२८k टोकनच्या संदर्भ खिडकीचा एक प्रकार “लवकरच प्रसिद्ध केला जाईल”.

Share
Copied!

स्रोत आणि पुढील वाचन

  1. BharatGen: Param2, what we built and how (17 February 2026)
  2. Hugging Face: bharatgenai/Param2-17B-A2.4B-Thinking, model page and card (read 19 November 2026)
  3. Hugging Face: Param2-17B-A2.4B-Thinking, config.json
  4. Hugging Face: Param2-17B-A2.4B-Thinking, LICENSE (BharatGen Research License, 7 August 2025)
  5. PIB: The Artificial Intelligence is no longer an option but an essential component of working in every sphere of life, Dr Jitendra Singh at the BharatGen session (17 February 2026)
  6. BharatGen: Param, language models for India (text models page, read 19 November 2026)
  7. BharatGen: Two years of BharatGen (15 October 2026)
  8. BharatGen: Technical reports (read 19 November 2026)
  9. arXiv 2507.13390: PARAM-1 BharatGen 2.9B Model (16 July 2025)
  10. arXiv 2608.11891: Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models, Agarwal and Jain (12 August 2026, revised 16 August)
  11. Business Today: BharatGen to launch 17-billion-parameter multilingual AI model at India AI Impact Summit (12 February 2026)
  12. Business Today: Most real-world use cases don't need trillion-parameter AI, BharatGen CEO Rishi Bal on Param 2 launch (16 February 2026)
  13. Analytics India Magazine: After Param2, BharatGen unveils Patram, Sooktam and Shrutam AI models at India AI Impact Summit (17 February 2026)
  14. Business Standard: BharatGen unveils Param2 17B multilingual MoE model under sovereign AI push (18 February 2026)

हा लेख AI साधनांच्या मदतीने संशोधित आणि लिहिला गेला असून अचूकतेसाठी संपादित केला आहे. हा केवळ सर्वसाधारण माहिती आणि चर्चेसाठी आहे, व्यावसायिक सल्ला नाही. आमचे संपादकीय मानक आणि अस्वीकरण पाहा. चूक आढळली? आम्हाला कळवा.

#param2#bharatgen#indian language models#mixture of experts#iit bombay#india ai impact summit#indiaai mission#hugging face

आवडलं? पुढचा लेख मिळवा.

एका वेळी एक चांगला लेख, थेट तुमच्या इनबॉक्समध्ये. स्पॅम नाही, हवं तेव्हा थांबवा.

याच विभागात आणखी: एआय आणि तंत्रज्ञान
इंडियाAI मिशनकडे तासाला ६५ रुपये दराने ३८,००० हून अधिक GPU, निधी मिळालेले १२ मॉडेल बांधणारे आणि मिशनच्या संगणनावर प्रशिक्षित सर्वमची खुली मॉडेल आहेत, आणि फेब्रुवारी २०२६ मध्ये आणखी २०,००० GPU जाहीर झाले
संगणन तासाला ६५ रुपये दराने आहे, पहिली मॉडेल बाहेर आली आहेत आणि फेब्रुवारीतील शिखर परिषदेला १०० हून अधिक देश आले. मिशनच्या प्रत्येक स्तंभाबद्दल सरकारची स्वतःची कागदपत्रे काय सांगतात, आणि कार्नेगी इंडिया, तक्षशिला आणि IISc शी जोडलेल्या एका संशोधन प्रमुखाची मते.
सर्वमचे १०५ अब्ज पॅरामीटरचे मॉडेल प्रत्येक टोकनसाठी त्यांपैकी १०.३ अब्जांनी गणन करते, १९९१ च्या शोधनिबंधापासून Mixtral आणि डीपसीकपर्यंत पोहोचलेल्या मिक्स्चर-ऑफ-एक्स्पर्ट्स रचनेचा वापर करून
एक छोटा राउटर प्रत्येक शब्द १२८ उप-नेटवर्कांपैकी काहींकडे पाठवतो, त्यामुळे कोणत्याही एका शब्दासाठी मॉडेलचा बहुतेक भाग निष्क्रिय राहतो. ही रचना कुठून आली, Mixtral, डीपसीक आणि सर्वम ती कशी वापरतात, आणि ती काय वाचवत नाही, ते इथे.
१० सप्टेंबर २०२६ रोजी प्रसिद्ध झालेल्या DeepSeek च्या ५५२ अब्ज पॅरामीटरच्या खुल्या वजनांच्या V4.1-Flash ने प्रति टोकन स्मृती कॅश ८९० बाइटपर्यंत आणला, जो आधीच्या मॉडेलच्या सुमारे एक चतुर्थांश आहे
लांब संभाषणाची मॉडेलची अल्पकालीन स्मृती सांभाळणे महागडे असते. DeepSeek चे सप्टेंबरचे प्रकाशन ती रचनेतूनच संकुचित करते, आणि त्याचा स्वतःचा अहवाल सांगतो की मॉडेल अजूनही कुठे मागे आहे. येथे यंत्रणा, २०२४ पासूनची कालरेषा आणि बाहेरच्यांनी काय तपासले ते आहे.
← सर्व लेख