इंडियाएआयने २२ अनुसूचित भाषा समाविष्ट करणारे २६.३ अब्ज पॅरामीटरचे ईकेए-१ आणि ऑफलाइन चालण्यासाठी बनवलेले खुले धीर २बी व ५बी मॉडेल जाहीर केले

३ नोव्हेंबर २०२६ रोजी इंडियाएआय मिशनने देशी बनावटीच्या एआय मॉडेलचे दोन संच जाहीर केले. एक म्हणजे बेंगळुरूच्या सोकेट लॅब्सचे ईकेए-१, २६.३ अब्ज पॅरामीटरचे मॉडेल, जे प्रेस इन्फर्मेशन ब्युरोच्या म्हणण्यानुसार इंग्रजीसह सर्व २२ अनुसूचित भारतीय भाषा व्यापते. दुसरे म्हणजे झेंटेईक्यूचे धीर २बी आणि धीर ५बी, इंग्रजी आणि दहा भारतीय भाषांसाठीची लहान मॉडेल, जी इंटरनेट जोडणीशिवाय लॅपटॉप किंवा एज उपकरणावर चालण्यासाठी बनवली आहेत. पॅरामीटर म्हणजे मॉडेलमधील समायोजित करता येणारे आकडे, जे त्याच्या आकाराचे ढोबळ मोजमाप आहे.

आयटी सचिवांसह नवी दिल्लीत अनावरण

पीआयबी प्रसिद्धीपत्रकानुसार, ही मॉडेल नवी दिल्लीत झालेल्या पत्रकार कार्यक्रमात सादर करण्यात आली, ज्याला इलेक्ट्रॉनिक्स आणि माहिती तंत्रज्ञान मंत्रालयाचे सचिव एस. कृष्णन, तसेच मंत्रालयाचे आणि मिशनची अंमलबजावणी करणाऱ्या इंडियाएआय विभागाचे अधिकारी उपस्थित होते. कृष्णन म्हणाले की अशी मॉडेल भारताच्या “कृत्रिम बुद्धिमत्तेतील तांत्रिक आणि धोरणात्मक स्वायत्ततेला” बळ देतात. त्यांनी जोडले की मिशनचे डेटासेट आणि मॉडेल ग्रंथालय एआयकोशसारखे मंच ती संशोधक, विद्यार्थी, नवोन्मेषक आणि व्यापक जनतेला उपलब्ध करून देऊ शकतात.

इंडियाएआयचे मुख्य संचालन अधिकारी सुदीप श्रीवास्तव म्हणाले की ही मॉडेल दैनंदिन उपकरणांसाठीच्या हलक्या उपायांपासून गुंतागुंतीच्या उद्योगकामांसाठीच्या जड मॉडेलांपर्यंतची प्रगती दाखवतात. दोन्ही कंपन्या मिशनच्या फाउंडेशन-मॉडेल स्तंभाखाली निवडलेल्या बारा चमूंमध्ये आहेत, आणि अनुदानित राष्ट्रीय एआय संगणकीय क्षमता आणि संबंधित संशोधन खर्चाला मिळालेला आधार यामुळे ही मॉडेल शक्य झाली, असे प्रसिद्धीपत्रक म्हणते.

ईकेए-१, प्रत्येक अनुसूचित भाषेसाठीचे मॉडेल

पीआयबी ईकेए-१ ला प्रशिक्षणासाठी सुमारे ७.५ ट्रिलियन टोकन मजकूर दिल्याचे सांगते; टोकन म्हणजे एक शब्द किंवा त्याचा एक तुकडा. ते या मॉडेलचे वर्णन गणित, कोड, तर्क आणि एजंटिक वापरासाठी बनवलेले खुले, विरळ संकरित भाषा मॉडेल असे करते; एजंटिक म्हणजे अनेक टप्प्यांत काम पूर्ण करणारे सॉफ्टवेअर. २२ अनुसूचित भाषा म्हणजे संविधानाच्या आठव्या अनुसूचीत नमूद केलेल्या भाषा, ज्या आमचा स्पष्टीकरण लेख मांडतो.

एआयकोशवरील मॉडेलचे पान अधिक तपशील देते. त्यात म्हटले आहे की सोकेटने इंडियाएआयच्या पाठबळाने ईकेए-१ पहिल्यापासून बनवले, आणि ते सोकेटच्या संशोधन कार्यक्रमाचे, प्रोजेक्ट ईकेएचे, पहिले प्रकाशन आहे. आर्किटेक्चर, ज्याला सोकेट रॅल्सनेट म्हणते, विरळ रचनेत अटेन्शन, रिकरंट आणि एक्स्पर्ट स्तर एकत्र करते, त्यामुळे प्रत्येक टोकनवर नेटवर्कचा फक्त एक भाग काम करतो. सोकेट समान आकाराच्या मॉडेलपेक्षा तिपटीपेक्षा जास्त वेगाने अनुमान काढल्याचे आणि ६४,००० टोकनची संदर्भ खिडकी असल्याचे सांगते; संदर्भ खिडकी म्हणजे मॉडेल एकाच वेळी वाचू शकणारा मजकूर. पानावर म्हटले आहे की अंतर्गत मूल्यमापनांत समान आकाराच्या मॉडेलच्या बरोबरीची कामगिरी दिसते, आणि पद्धती व निकाल तांत्रिक अहवालात येतील.

सोकेटचे मुख्य कार्यकारी अधिकारी अभिषेक उपरवाल यांनी पीआयबी प्रसिद्धीपत्रकात म्हटले की हे मॉडेल भारतातील बँकिंग, वित्तीय सेवा आणि सायबर सुरक्षेसाठी बनवलेले आहे. एएनआयने वृत्त दिले की हे मॉडेल खासगी सर्व्हर, खासगी क्लाउड आणि एअर-गॅप्ड प्रणालींवर चालण्यासाठी रचलेले आहे, ज्यांना बाहेरच्या इंटरनेटशी जोडणी नसते. त्यात सोकेटचे सहसंस्थापक मयंक सिंह यांचे वाक्य उद्धृत केले होते की डेटा तयारी, प्रशिक्षण आणि मूल्यमापन पूर्णपणे भारतात झाले.

स्रोत भाषा वेगवेगळ्या प्रकारे मोजतात. पीआयबी २२ अनुसूचित भाषा आणि इंग्रजी म्हणते. एआयकोश पान १०० पेक्षा जास्त भारतीय, ग्लोबल साउथ आणि प्रोग्रामिंग भाषा म्हणते, आणि सोकेटचे मुख्य पान ६० किंवा जास्त म्हणते, त्यामुळे त्या मोजणीत भारताच्या अनुसूचीबाहेरच्या भाषा आणि प्रोग्रामिंग भाषा येतात.

धीर २बी आणि ५बी, नेटवर्कशिवाय चालणारी मॉडेल

द हिंदू बिझनेसलाइननुसार झेंटेईक्यूची स्थापना २०२२ मध्ये बेंगळुरूतील भारतीय विज्ञान संस्थेचे प्राध्यापक शशिकुमार गणेशन यांनी केली. पीआयबी ही मॉडेल खुल्या स्रोताची, बहुभाषिक सहायक म्हणून नमूद करते, जी सुरक्षित, कंपनीच्या स्वतःच्या सर्व्हरवरील आणि ऑफलाइन वापरासाठी आहेत, ज्यात संरक्षण, सरकार, उद्योग आणि शिक्षणातील कागदपत्रांवर आधारित स्वयंचलन, ज्ञान शोध आणि नागरिक किंवा उद्योग सेवा येतात. ते कमी जोडणीच्या आणि संवेदनशील ठिकाणांकडे निर्देश करते.

झेंटेईक्यूचे मॉडेल पान आकडे देते. धीर २बी हे २.०३ अब्ज पॅरामीटरचे घन मॉडेल आहे. धीर ५बी हे मिक्स्चर-ऑफ-एक्स्पर्ट्स मॉडेल आहे, एकूण ५.०९ अब्ज पॅरामीटर, ज्यांपैकी प्रत्येक टोकनसाठी १.७९ अब्ज सक्रिय असतात, १२ पैकी २ एक्स्पर्ट वापरून. कंपनीच्या तांत्रिक अहवालाच्या सारांशात म्हटले आहे की दोन्ही सहा ट्रिलियन टोकनपेक्षा जास्त मजकुरावर पहिल्यापासून पूर्वप्रशिक्षित केली गेली, १,३१,००० नोंदींच्या स्वतःच्या टोकनायझरसह, आणि प्रशिक्षणाचा प्रत्येक टप्पा भारतातील गूगल क्लाउड टीपीयू व्ही६ई चिप्सवर चालला. दहा भारतीय भाषा हिंदी, बंगाली, तमिळ, तेलुगू, मराठी, गुजराती, कन्नड, मल्याळम, पंजाबी आणि ओडिया आहेत.

आकाराबाबत सारांश म्हणतो की ४ बिटपर्यंत संकुचित केलेल्या वजनांसह धीर २बी १.२१ जीबीची फाइल आहे, जी लॅपटॉपच्या इंटिग्रेटेड ग्राफिक्सवर आणि एनव्हिडिया जेटसन मॉड्यूलवर, म्हणजे एज उपकरणांसाठीच्या लहान बोर्डवर, पूर्णपणे ऑफलाइन चालते. पानावर llama.cpp प्रोग्रामने मोजलेले वेग दिले आहेत: इंटेल आयरिस एक्सई लॅपटॉप ग्राफिक्सवर धीर २बी साठी प्रति सेकंद १८.६ टोकन आणि धीर ५बी साठी २०.५, आणि रास्पबेरी पाय ४ प्रोसेसरवर २.३ आणि २.८. वजनांना अपाचे २.० परवाना आहे, जो मोफत वापर आणि बदल करण्याची मुभा देतो.

प्रकाशनाच्या वेळी गणेशन म्हणाले की ही मॉडेल जीपीयू आणि टीपीयूवर चालतात आणि हलकी असल्याने क्लाउड जोडणीशिवाय मोबाइल फोनवर वापरता येतात, ज्यामुळे डेटा उपकरणावरच राहतो. त्यांनी एएनआयला सांगितले की कंपनी अँड्रॉइड आणि आयओएससाठी मोफत अॅप बनवत आहे.

मिशनने कशासाठी पैसे दिले

१३ फेब्रुवारी २०२६ चे राज्यसभेतील उत्तर, जे पीआयबी प्रसिद्धीपत्रकात पुनर्प्रकाशित झाले, बारा चमूंपैकी प्रत्येकाला दिलेला आधार नमूद करते. सोकेट एआयला १७७.०८ कोटी रुपये मिळाले, त्यापैकी १६२.४७ कोटी रुपये संगणकीय क्षमतेसाठी आणि १४.६१ कोटी रुपये इतर खर्चासाठी. झेंटेईक्यूला २०६.४९ कोटी रुपये मिळाले, त्यापैकी १६५.१९ कोटी रुपये संगणकीय क्षमतेसाठी आणि ४१.३० कोटी रुपये इतर खर्चासाठी. tuput च्या बेरजेनुसार एकूण ३८३.५७ कोटी रुपये होतात.

पीआयबीने सोकेटची निवड ३० मे २०२५ रोजी १२० अब्ज पॅरामीटरच्या खुल्या स्रोत मॉडेलच्या योजनेसह जाहीर केली होती. ईकेए-१ हे लहान पहिले प्रकाशन आहे, आणि सोकेटच्या मुख्य पानावर १२० अब्जांपेक्षा जास्त पॅरामीटरचे मॉडेल प्रशिक्षणात असल्याचे दाखवले आहे. मिशनच्या संगणकीय क्षमतेचे दर, तिचे इतर अनुदानित चमू आणि सर्वमची मॉडेल इंडियाएआय मिशनवरील tuput च्या आधीच्या लेखात आहेत, आणि भाषा-अनुवादाची बाजू भारत स्वतःच्या भाषांत एआय बनवत आहे या आमच्या लेखात आहे.

अजून काय दाखवायचे आहे

५ नोव्हेंबर २०२६ पर्यंत, tuput ला सापडेल अशा कोणत्याही बाहेरच्या परीक्षकाने तिन्ही मॉडेलचे बेंचमार्क गुण प्रसिद्ध केलेले नव्हते, त्यामुळे येथील कामगिरीचे आकडे विकासकांचे आहेत. झेंटेईक्यू म्हणते की धीर २बी १५ पैकी १३ भारतीय भाषा बेंचमार्कमध्ये आपल्या वर्गात पहिले आहे, आणि दोन्ही मॉडेलची तुलना एक ते सात अब्ज पॅरामीटरच्या २४ खुल्या मॉडेलशी ४१ बेंचमार्कमध्ये केली गेली. ती म्हणते की संपूर्ण तक्ते तिच्या तांत्रिक अहवालात आहेत, जो तिच्या प्रकाशन पानावर लवकरच येणार असल्याचे दाखवला आहे. त्याच पानावर मर्यादाही दिल्या आहेत: आधार स्रोताशिवाय तथ्ये आठवणे हा सर्वात कमकुवत भाग आहे, म्हणून कायदा, वित्त, शेती, वैद्यक किंवा इतिहासासाठी अधिकृत स्रोतांतून माहिती आणण्याचा आणि माणसाकडून तपासणीचा सल्ला दिला आहे. ती म्हणते की कोणत्याही मॉडेलमध्ये तर्क पद्धत नाही आणि दोन्ही फक्त मजकूर हाताळतात.

उपलब्धतेबाबत, ईकेए-१-२६बी चे एआयकोश पान अपाचे २.० परवाना, मर्यादित (Restricted) सेटिंग, ज्यात डाउनलोडसाठी मालकाची मंजुरी लागते, आणि शून्य डाउनलोड दाखवत होते. सोकेटच्या मुख्य पानावर तिचे ईकेए-२६बी कोड आणि तर्क मॉडेल लवकरच येत असल्याचे दाखवले आहे. एएनआयने वृत्त दिले की मयंक सिंह म्हणाले सोकेट एका महिन्याच्या आत वजने खुली करण्याची योजना आखते, प्रतीक्षा यादीपासून सुरुवात करून, आणि धीर वजने आधीच एआयकोशवर आहेत. झेंटेईक्यूने एएनआयला हेही सांगितले की डिसेंबरसाठी ९ अब्ज पॅरामीटरचे मॉडेल योजले आहे.