भाषिणी २२ भारतीय भाषांमध्ये आवाज आणि ३६ मध्ये मजकूर देते, आणि आयआयटी मद्रासमधील एका प्रयोगशाळेने सर्व २२ अनुसूचित भाषांसाठी खुले भाषांतर मॉडेल बनवले

भाषिणी हा भारत सरकारचा भाषा मंच ९ फेब्रुवारी २०२६ पर्यंत २२ भाषांत आवाज सेवा आणि ३६ भाषांत मजकूर सेवा देत होता, असे सरकारची प्रसार शाखा असलेल्या पत्र सूचना कार्यालयाच्या (पीआयबी) एका माहितीपत्रात म्हटले आहे. त्याच दस्तऐवजानुसार या मंचावर ३५० हून अधिक एआय मॉडेल आणि डेटासेट आहेत आणि ४ अब्जांहून अधिक, म्हणजे ४०० कोटी, भाषा इन्फरन्स पूर्ण झाले आहेत. प्रत्येक इन्फरन्स म्हणजे एखाद्या विनंतीवर मॉडेलने एकदा केलेली प्रक्रिया.

या मंचासाठी खुले डेटासेट आणि मॉडेल एआय४भारतकडून येतात. ही आयआयटी मद्रासमधील प्रयोगशाळा अभियानाचा डेटा व्यवस्थापन विभाग म्हणून काम करते. तिचे भाषांतर मॉडेल इंडिकट्रान्स२ हे संविधानाच्या आठव्या अनुसूचीतील सर्व २२ भाषांना साहाय्य करणारे पहिले मॉडेल असल्याचे त्याचे लेखक सांगतात.

जुलै २०२२ मध्ये सुरू झालेले अभियान

भाषिणी हे राष्ट्रीय भाषा भाषांतर अभियानाचे कामकाजाचे नाव आहे. इलेक्ट्रॉनिक्स आणि माहिती तंत्रज्ञान मंत्रालय (मेईटी) ते डिजिटल इंडिया भाषिणी विभागामार्फत चालवते. अधिकृत संकेतस्थळ या विभागाला डिजिटल इंडिया कॉर्पोरेशनअंतर्गत स्वतंत्र विभाग म्हणते. पीआयबीच्या ऑगस्ट २०२२ च्या माहितीपत्रकात नावाचा विस्तार “BHASa INterface for India” असा दिला आहे, आणि त्यानुसार पंतप्रधानांनी गांधीनगरमधील डिजिटल इंडिया सप्ताह २०२२ च्या उद्घाटनावेळी ते सुरू केले. स्वराज्यच्या वृत्तानुसार ही तारीख ४ जुलै २०२२ आहे आणि तीन वर्षांसाठी ४९५.५१ कोटी रुपयांची तरतूद असल्याचे ते सांगते.

माहितीपत्रकात तीन उद्दिष्टे दिली आहेत. नागरिकांना इंटरनेट आणि डिजिटल सेवा भारतीय भाषांत, आवाजातूनही, मिळाव्यात. भाषादान नावाचा लोकसहभागाचा उपक्रम लोकांकडून भाषेचा डेटा गोळा करतो. आणि भाषिणी समन्वयक म्हणून काम करते, ज्यात सरकार, उद्योग, शैक्षणिक संस्था आणि स्टार्टअप्स यांचे योगदान एका खुल्या भांडारात येते.

फेब्रुवारी २०२६ पर्यंत पीआयबीने या सेवांचे वर्णन भाषांतर, वाणी-ते-मजकूर, मजकूर-ते-वाणी, लिप्यंतर (एखादा शब्द दुसऱ्या लिपीत लिहिणे) आणि दस्तऐवज आकलन असे केले. इतर मंचांना भाषा आणि आवाजाची सुविधा सुरुवातीपासून बनवावी लागू नये, हा त्यांच्या शब्दांत यामागचा हेतू आहे. पीआयबीच्या १० फेब्रुवारी २०२६ च्या माहितीपत्रात मंचाने १२ लाख डाउनलोडचा टप्पा ओलांडला होता, आणि tuput ने १५ ऑक्टोबर २०२६ रोजी पाहिले तेव्हा अधिकृत संकेतस्थळावर मोबाइल अॅपचे १४ लाखांहून अधिक डाउनलोड नोंदवलेले होते. कंप्यूट निधीसह सरकारचा व्यापक एआय कार्यक्रम भारत स्वतःच्या भाषांमध्ये एआय बनवत आहे या tuput च्या लेखात आहे.

आयआयटी मद्रासमधील प्रयोगशाळा

एआय४भारत स्वतःचे वर्णन आयआयटी मद्रासमधील संशोधन प्रयोगशाळा म्हणून करते, जी खुल्या स्रोतातील योगदानातून भारतीय भाषांसाठी एआयवर काम करते. लिप्यंतर, भाषा आकलन आणि निर्मिती, भाषांतर, वाणी ओळख आणि वाणी संश्लेषण ही तिची नमूद केलेली कार्यक्षेत्रे आहेत. मुख्यपृष्ठावर नाव असलेले निधीदाते म्हणजे मेईटी, रोहिणी नीलेकणी फिलान्थ्रॉपीज, एकस्टेप फाउंडेशन, सी-डॅक, मायक्रोसॉफ्ट, गुगल आणि योट्टा इन्फ्रास्ट्रक्चर.

डेटा संकलनासाठी मेईटीकडून मिळालेल्या अनुदानाचे श्रेय हे पान देते आणि ते भाषिणीच्या डेटा व्यवस्थापन विभागाचा भाग असल्याचे म्हणते. इंडिकट्रान्स२ चा शोधनिबंधही आपल्या ऋणनिर्देशात हेच म्हणतो: त्या प्रकल्पावरील अनुवादक, परीक्षक आणि भाषातज्ज्ञ यांना आयआयटी मद्रासला त्या भूमिकेसाठी डिजिटल इंडिया भाषिणी अभियानाकडून मिळालेल्या अनुदानातून साहाय्य मिळाले.

मार्च २०२३ मध्ये आयआयटी मद्रासचे संचालक व्ही. कामकोटी यांनी मनीकंट्रोलला सांगितले की, एआय४भारत येथील नीलेकणी केंद्रातील संशोधकांकडे भाषिणीचा भाग म्हणून नऊ भाषांसाठी काम करणारे मजकूर भाषांतरक आहे. वृत्त पुढे सांगते की हे केंद्र २०२२ मध्ये नीलेकणी फिलान्थ्रॉपीजच्या ३६ कोटी रुपयांच्या अनुदानातून सुरू झाले.

इंडिकट्रान्स२, सर्व २२ भाषांसाठीचे मॉडेल

भारतात २२ अनुसूचित भाषा आहेत, ज्या आठव्या अनुसूचीत नमूद आहेत, आणि लोकसंख्येपैकी सुमारे ९७ टक्के लोक त्यांपैकी एक भाषा मातृभाषा म्हणून बोलतात, असे शोधनिबंधात नमूद आहे. हे २२ भाषा कशा निवडल्या गेल्या याची पार्श्वभूमी आठव्या अनुसूचीतील २२ भाषा आणि भारताचे राजभाषा नियम या tuput च्या स्पष्टीकरणात आहे.

जय गाला आणि प्रांजल चितळे यांच्या नेतृत्वाखालील १४ लेखकांचा इंडिकट्रान्स२ शोधनिबंध २५ मे २०२३ रोजी arXiv वर टाकला गेला आणि डिसेंबर २०२३ मध्ये ट्रान्झॅक्शन्स ऑन मशीन लर्निंग रिसर्चमध्ये प्रसिद्ध झाला. त्याच्या सारांशानुसार या कामापूर्वी सर्व २२ भाषांना व्यापणारा समांतर प्रशिक्षण डेटा नव्हता (दोन भाषांतील तीच वाक्ये, ज्यावरून मॉडेल शिकते), सर्व भाषांना व्यापणारी चाचणी नव्हती आणि सर्व भाषांना साहाय्य करणारे भाषांतर मॉडेलही नव्हते.

संघाने तीन गोष्टी बनवल्या. भारत समांतर संग्रह (बीपीसीसी) मध्ये सुमारे २३ कोटी वाक्यजोड्या आहेत, त्यापैकी १२.६ कोटी नव्याने जोडलेल्या आणि त्यात ६,४४,००० हातांनी केलेल्या भाषांतरांच्या जोड्या आहेत. आयएन२२ हा चाचणी संच असून, सर्व २२ भाषांमध्ये समान मजकूर असलेली ही पहिली कसोटी असल्याचे लेखक सांगतात. इंडिकट्रान्स२ मध्ये स्वतः १.१ अब्ज पॅरामीटर आहेत, सुमारे २११ दशलक्षांच्या संक्षिप्त आवृत्त्या आहेत, आणि दुसरी आवृत्ती इंग्रजीतून न जाता भारतीय भाषांदरम्यान थेट भाषांतर करते, ४६२ दिशांना व्यापते.

गुणवत्तेबाबत लेखक नोंदवतात की बीएलईयू, सीएचआरएफ++ आणि कॉमेट या स्वयंचलित गुणांनुसार इंडिकट्रान्स२ मेटाच्या खुल्या एनएलएलबी मॉडेलच्या आणि गुगल व मायक्रोसॉफ्टच्या व्यावसायिक प्रणालींच्या बरोबरीने कामगिरी करते. हे लेखकांचे स्वतःचे मूल्यमापन आहे. शोधनिबंध असेही म्हणतो की मशीन ट्रान्सलेशनवरील कार्यशाळेने, या दीर्घकाळ चालणाऱ्या सामायिक स्पर्धेने, १६ वर्षांत एकूण केवळ ४ भारतीय भाषा हाताळल्या होत्या.

मॉडेल आणि डेटा खुल्या परवान्यांखाली प्रसिद्ध केले गेले. गिटहब भांडारात मॉडेल चेकपॉइंट एमआयटी परवान्याखाली दिलेले आहेत, आणि त्याच्या प्रकाशन टिपांमध्ये १८ जानेवारी २०२५ रोजी दीर्घ संदर्भाची सुधारणा नोंदलेली आहे. भारताचे एआय भांडार एआयकोशही स्रोत संस्था म्हणून डिजिटल इंडिया भाषिणी विभागासह इंडिकट्रान्स२ ची नोंद दाखवते. भाषिणीच्या एखाद्या विशिष्ट सेवेत कोणते मॉडेल चालते हे tuput ने उघडलेल्या कोणत्याही पानावर सांगितलेले नाही, म्हणून हा लेख तसा दावा करत नाही.

खालील मजकूर आणि वाणी डेटा

इंडिकट्रान्स२ याच गटाच्या आधीच्या प्रकाशनांवर आधारित आहे. पहिले इंडिकएनएलपीसूट होते, जे नोव्हेंबर २०२० मध्ये फाइंडिंग्ज ऑफ ईएमएनएलपीमध्ये प्रसिद्ध झाले. त्यात ११ भाषा आणि भारतीय इंग्रजीतील ८.८ अब्ज टोकनचा एकभाषिक मजकूर होता, जो बहुतांश बातम्यांच्या संकलनातून घेतलेला होता, आणि कॉम्पॅक्ट अल्बर्ट रचनेवर आधारित पूर्व-प्रशिक्षित भाषा मॉडेल होती.

सुमंत दोड्डापनेनी आणि सहकाऱ्यांच्या एसीएल २०२३ मधील पुढील शोधनिबंधाने संग्रह (इंडिककॉर्प) २४ भाषांतील २०.९ अब्ज टोकनपर्यंत वाढवला, जो आधीच्या आकाराच्या सुमारे २.३ पट आहे. त्याने इंडिकएक्सट्रीम ही २० भाषांतील नऊ कामांची कसोटी आणली, ज्यात १०५ मूल्यमापन संच आहेत आणि त्यांपैकी ५२ नवे आहेत, तसेच इंडिकबर्ट व्ही२ ही भाषा मॉडेलही आणली, जी एका भक्कम मूळ मॉडेलपेक्षा सरासरी २ गुणांनी सरस असल्याचे लेखक सांगतात.

वाणीसाठी, इंडिकसुपरबमधील कथबाथ संग्रहात १,२१८ योगदानकर्त्यांचे, २०३ जिल्ह्यांतील, १२ भाषांमधील १,६८४ तासांचे नोंदवलेले भाषण आहे. मार्च २०२४ मध्ये टाकलेल्या इंडिकव्हॉइसेसमध्ये १४५ जिल्ह्यांतील १६,२३७ वक्त्यांचे, २२ भाषांमधील ७,३४८ तास आहेत, त्यापैकी १,६३९ तासांचे प्रतिलेखन झाले. त्यातील केवळ ९ टक्के वाचून दाखवलेला मजकूर आहे, तर ७४ टक्के उत्स्फूर्त भाषण आणि १७ टक्के संभाषण आहे.

कुठे वापरले जात आहे

पीआयबीच्या फेब्रुवारी २०२६ च्या माहितीपत्रात दोन प्रसंग दिले आहेत. वाराणसीतील काशी तमिळ संगमम येथे पंतप्रधानांचे हिंदी भाषण भाषिणीद्वारे तमिळमध्ये रिअल टाइममध्ये भाषांतरित केले गेले. महाकुंभ २०२५ मध्ये, कुंभ सहायक नावाच्या भाषिणी-सक्षम चॅटबॉटने यात्रेकरूंना ११ भाषांत मार्गदर्शन आणि कार्यक्रमांची माहिती दिली, आणि थेट मजकूर व आवाज भाषांतरासह हरवले-सापडले सुविधा चालवली. अधिकृत संकेतस्थळ पंतप्रधानांचे असेही म्हणणे उद्धृत करते की २०२४ मध्ये सर्वोच्च न्यायालयाच्या हीरक महोत्सवी समारंभात त्यांचे भाषण रिअल टाइममध्ये इंग्रजीत भाषांतरित केले गेले.

संसदेने १८ मार्च २०२५ रोजी करार केला. लोकसभा सचिवालय आणि मेईटी यांनी संसद भाषिणीसाठी करार केला, ज्यात संसद साधने सुधारण्यासाठी चर्चांचे आपले संग्रह देते आणि भाषिणी भाषांतर पुरवते. पीआयबीच्या प्रसिद्धीपत्रकात चार नियोजित वापर नमूद आहेत: जुन्या चर्चांच्या दस्तऐवजांचे प्रादेशिक भाषांत भाषांतर, संसदेच्या संकेतस्थळासाठी चॅटबॉट, भारतीय भाषांत वाणी-ते-मजकूर, आणि रिअल-टाइम प्रतिलेखनासह वाणी-ते-वाणी रूपांतर. भाषिणीच्या मुख्यपृष्ठावर आता संसद भाषिणीचा फलक आहे, ज्यात संसदेसाठी भाषांतर, प्रतिलेखन आणि सारांश यांचे वर्णन आहे.

रेल्वेत, डिजिटल इंडिया भाषिणी विभाग आणि रेल्वे माहिती प्रणाली केंद्र (सीआरआयएस) यांनी ९ जून २०२५ रोजी करार केला, ज्यामुळे राष्ट्रीय गाडी चौकशी प्रणाली आणि तक्रार पोर्टल रेलमदत यांसारख्या प्रणालींमध्ये २२ भाषांतील मजकूर, वाणी आणि अक्षरे वाचणारी साधने येतील. ऑल इंडिया रेडिओने सांगितले की कार्यशाळा आणि प्रायोगिक प्रकल्प पुढील महिन्यांत सुरू होणार होते. भाषिणीच्या आमचा प्रभाव पानावर चौकशी प्रणाली मजकूर आणि वाणी ओळख वापरणारी सेवा म्हणून स्वतंत्रपणे नमूद आहे, तसेच सरकारचे सीपीग्राम्स तक्रार पोर्टलही, ज्याचे वर्णन ते २२ भाषांत मजकूर आणि १६ भाषांत आवाज देणारे असे करते.

न्यायालयांत, पीआयबीच्या ११ फेब्रुवारी २०२६ च्या माहितीपत्रानुसार सर्वोच्च न्यायालय राष्ट्रीय सूचना केंद्रासह बनवलेल्या सुवास साधनाने निकाल १८ भारतीय भाषांत भाषांतरित करते आणि ते ई-एससीआर पोर्टलवर ठेवते. माहितीपत्र म्हणते की भाषांतरांचे न्यायिक चौकटींमध्ये पुनरावलोकन होते, आणि सुवास कोणते भाषा इंजिन वापरते हे ते सांगत नाही. भारतीय न्यायालयांतील एआयवरील tuput चा अहवाल मध्ये न्यायालयीन साधनांची संपूर्ण यादी आणि त्यामागील दस्तऐवज आहेत.

प्रकाशित आकड्यांनी मोकळे ठेवलेले प्रश्न

इंडिकट्रान्स२ चा शोधनिबंध काम कुठे बाकी आहे याबद्दल थेट बोलतो. तो म्हणतो की मणिपुरी (मैतेई), संथाळी आणि देवनागरी लिपीतील सिंधी यांसाठी मॉडेल मर्यादित प्रमाणातच सामान्यीकरण करतात, आणि भरपूर डेटा असलेल्या व कमी डेटा असलेल्या भाषांमध्ये कामगिरीतील तफावत कायम आहे. त्याची कारणे म्हणून लेखक मानवी भाष्य केलेला डेटा दुर्मिळ असणे आणि वेबवर कमी मजकूर असणे सांगतात.

मंच काय साहाय्य करतो याची मोजणी सेवेनुसार आणि तारखेनुसार वेगळी आहे. पीआयबीचे फेब्रुवारी २०२६ चे माहितीपत्र २२ आवाज भाषा आणि ३६ मजकूर भाषा देते, तर अधिकृत संकेतस्थळ एका तक्रार प्रणालीसाठी १६ भाषांतील आवाज नमूद करते. या लेखासाठी उघडलेली पाने प्रत्यक्ष वापरातील सेवांसाठी अचूकतेचे आकडे देत नाहीत, आणि रेल्वे व संसदेचे करार नियोजित कामाचे वर्णन करतात. भारतीय भाषांतील वाणी प्रणालींच्या स्वतंत्र तुलना आवाज आणि भाषांतर मॉडेल्सचा tuput चा आढावा मध्ये एकत्र केल्या आहेत.

एआय४भारतची स्वतःची पाने ४०० हून अधिक जिल्ह्यांतून १५,००० तासांचे प्रतिलेखित भाषण मिळवण्याचे ध्येय नमूद करतात, जे उद्दिष्ट आहे, पूर्ण झालेली एकूण बेरीज नाही.