चित्रण: tuput
मराठी
ग्नानी.ai, सर्वम आणि क्रुट्रिम AI यांनी प्रत्येकी एक टोकनायझर प्रसिद्ध केला आहे, जो भारतीय भाषांतील मजकुरासाठी चॅटबॉटला लागणाऱ्या तुकड्यांची संख्या कमी करतो. ग्नानीचा टोकनायझर १९ मे २०२६ रोजी आला; ज्या टोकनायझरवरून तो सुरू झाला त्याला तमिळ आणि तेलुगूसाठी ३.७ आणि ३.९ लागत होते, तिथे तो शब्दामागे सुमारे २.० टोकन नोंदवतो.
चॅटबॉट जी पहिली पायरी पार पाडतो तिला, म्हणजे मजकुराचे तुकडे करणाऱ्या टोकनायझरला, भारतीय संशोधन संघांनी पुन्हा बांधले आहे, जेणेकरून तमिळ आणि तेलुगूसाठी शब्दामागे सुमारे दोन तुकडे लागतात. ग्नानी.ai आणि NVIDIA च्या संशोधकांनी १९ मे २०२६ रोजी तमिळसाठी शब्दामागे सरासरी १.९९६९ आणि तेलुगूसाठी २.०६३२ टोकन नोंदवले. नेमोट्रॉन ३ नॅनोच्या स्वतःच्या टोकनायझरला, ज्यावरून त्यांनी सुरुवात केली, त्याच चाचणी मजकुरावर ३.७४८० आणि ३.९२१२ लागले.
इतर दोन भारतीय प्रयत्न त्याच दिशेने जातात. सर्वम AI ने २४ ऑक्टोबर २०२४ रोजी सर्वम-१ सोबत एक टोकनायझर प्रसिद्ध केला आणि दहा भारतीय भाषांत शब्दामागे १.४ ते २.१ टोकन नोंदवले. बंगळुरूतील क्रुट्रिम AI च्या संशोधकांनी नोव्हेंबर २०२५ मध्ये एक शोधनिबंध टाकला, ज्यातील टोकनायझर MUTANT-Indic इंग्रजी, २२ भारतीय भाषा आणि कोड यांच्यावरील सरासरी संख्या मेटाच्या LLaMA ४ च्या टोकनायझरच्या तुलनेत ३९.५% ने कमी करतो, लेखकांच्या स्वतःच्या मोजमापानुसार.
खालील प्रत्येक फर्टिलिटी आकडा तो टोकनायझर बनवणाऱ्या संघाकडूनच आलेला आहे, त्यामुळे प्रत्येक आकडा निर्मात्याचा दावा आहे.
टोकन म्हणजे काय आणि फर्टिलिटी काय मोजते
भाषा मॉडेल अक्षरे किंवा पूर्ण शब्द कधीच पाहत नाही. टोकनायझर आधी मजकुराचे टोकनमध्ये तुकडे करतो, आणि मॉडेल फक्त तेच वाचते आणि लिहिते. ओपनएआयचे मदत केंद्र सांगते की टोकन एखादे अक्षर, शब्दाचा भाग, पूर्ण शब्द किंवा विरामचिन्ह असू शकते. इंग्रजीसाठी ते ढोबळ नियम देते: एक टोकन म्हणजे सुमारे चार अक्षरे किंवा शब्दाचा तीन-चतुर्थांश भाग, म्हणजे १०० टोकन म्हणजे सुमारे ७५ शब्द. इतर भाषांत अक्षरे, शब्द आणि टोकन यांच्यातील संबंध वेगळे असू शकतात, असेही ते जोडते.
बहुतेक सध्याचे टोकनायझर बाइट पेअर एन्कोडिंग नावाची पद्धत वापरतात. हगिंग फेसचे दस्तऐवज तिचे वर्णन करतात: एकेका अक्षरापासून सुरुवात करा, मग मजकुराच्या नमुन्यात सर्वात जास्त वेळा शेजारी येणाऱ्या जोडीला वारंवार एकत्र करत जा, शब्दसंग्रह लक्ष्य आकारापर्यंत पोहोचेपर्यंत. सामान्य शब्द एकेका टोकनमध्ये बसतात आणि दुर्मिळ शब्द तुकड्यांत विभागले जातात. नमुन्यात भरपूर असलेल्या लिपीला लांब, कार्यक्षम टोकन मिळतात. दुर्मिळ असलेल्या लिपीचे लहान तुकडे होतात.
फर्टिलिटी हे त्या परिणामाचे माप आहे: शब्दामागे लागणारे टोकनचे सरासरी प्रमाण. सर्वम आणि ग्नानी दोघेही ती एकाच प्रकारे व्याख्यित करतात, आणि सर्वम इंग्रजी सुमारे १.४ वर ठेवते. कमी आकडा म्हणजे तेच वाक्य कमी टोकनमध्ये बसते. मॉडेल ती टोकन कशी वापरते याच्या पार्श्वभूमीसाठी चॅटबॉट पुढचा शब्द कसा ओळखतो आणि मोठे भाषा मॉडेल कसे प्रशिक्षित केले जाते हे पाहा.
बिल आणि स्मृती दोन्ही टोकन का मोजतात
टोकन हे बिलिंगचे आणि स्मृतीचे एकक आहे. टोकनवर आधारित किंमत मॉडेलवर आणि टोकनच्या प्रकारावर अवलंबून असते, असे ओपनएआयचे मदत केंद्र म्हणते, आणि इनपुट व आउटपुटची किंमत वेगळी असते. अँथ्रॉपिकचे किंमत पान आपले दर प्रति दहा लाख टोकन देते. टोकन संदर्भ खिडकीही ठरवतात, म्हणजे मॉडेल एका वेळी नजरेसमोर ठेवू शकणारे प्रमाण.
त्या पानावरील एक पुढची सूचना कोणत्याही विक्रेत्यांच्या तुलनेला लागू होते: प्रति दहा लाख टोकन कमी किंमत म्हणजे एकूण खर्च कमी असेल याची हमी नाही, कारण मॉडेल तोच मजकूर वेगळ्या प्रकारे टोकनमध्ये मोडू शकतात. अँथ्रॉपिकचे किंमत पान आपल्या स्वतःच्या मॉडेलबद्दल असाच मुद्दा मांडते, आणि सांगते की त्याचा नवा टोकनायझर तोच मजकूर असताना अंदाजे ३०% जास्त टोकन तयार करतो.
ग्नानीच्या उदाहरणात, १,००० शब्दांचा एक तेलुगू दस्तऐवज त्याच्या टोकनायझरने सुमारे २,०६३ टोकनचा होतो, बदल न केलेल्या नेमोट्रॉन टोकनायझरने ३,९२१, आणि क्वेन ३.५ च्या टोकनायझरने ४,७५३. ग्नानी सांगते की तोच मजकूर असताना हे अनुमानाच्या खर्चाच्या साधारण निम्मे आहे. ग्नानी पुढे म्हणते की तिच्या १.८८ या सरासरीची तुलना आधारभूत ३.२० शी केली, तर ठराविक टोकन मर्यादेत सुमारे ३७% जास्त शब्द बसतात.
दरातील फरक मोजणारा २०२३ चा अभ्यास
ओरेवाओघेन अहिया आणि इतर सहा सहलेखक यांनी २३ मे २०२३ रोजी arXiv वर टाकलेल्या आणि EMNLP २०२३ परिषदेत प्रकाशित झालेल्या शोधनिबंधात शैक्षणिक आधार दिला. अनेक भाषांतील समांतर वाक्यांचा संच ChatGPT च्या gpt-3.5-turbo मॉडेलमागील टोकनायझरमधून गेला. स्वतःची लिपी असलेल्या भाषांना, तेलुगूसह, त्याच माहितीसाठी लॅटिन लिपीतील भाषांपेक्षा पाच पट टोकन लागले, असे लेखकांना आढळले.
XLSum सारांशीकरण बेंचमार्कवर त्यांनी नोंदवले की तेलुगू आणि अम्हारिकमध्ये प्रॉम्प्टिंग आणि निर्मिती या दोन्हींसाठी चार पट खर्च येतो. त्यांचा सारांश सांगतो की समर्थित भाषांपैकी मोठ्या संख्येतील भाषा बोलणाऱ्यांकडून जास्त पैसे घेतले गेले आणि त्यांना निकाल खराब मिळाले, आणि हे भाषक मुळातच एपीआय परवडण्याजोगे कमी असलेल्या प्रदेशांतून आलेले असतात. प्रशिक्षण डेटातील असमतोल हे कारण लेखकांनी गृहीत धरले आहे, कारण टोकनायझर प्रामुख्याने लॅटिन लिपीतील भाषांवर, मुख्यतः इंग्रजीवर, प्रशिक्षित होता.
तो अभ्यास २०२३ मध्ये असलेल्या एका विक्रेत्याच्या टोकनायझरचा आहे. खाली दिलेल्या क्रुट्रिमच्या तक्त्यात ओपनएआयचे खुले मॉडेल GPT-OSS आहे, ज्याला हिंदीसाठी शब्दामागे १.७२ आणि ओडियासाठी ६.२६ टोकन लागतात.
सर्वम: मॉडेलच्या आधी बांधलेला टोकनायझर
सर्वम-१, जे २४ ऑक्टोबर २०२४ रोजी खुले मॉडेल म्हणून प्रसिद्ध झाले, दहा भारतीय भाषा आणि इंग्रजीसाठीचे २ अब्ज पॅरामीटरचे मॉडेल आहे. भारतीय लिप्यांसाठी विद्यमान बहुभाषिक मॉडेलना अनेकदा शब्दामागे ४ ते ८ टोकन लागतात, असे सर्वम सांगते, तर तिचा स्वतःचा टोकनायझर सर्व समर्थित भाषांत १.४ ते २.१ पर्यंत पोहोचतो. शब्दसंग्रहात ६८,०९६ टोकन आहेत, त्यांपैकी ४,०९६ पुढील भरीसाठी राखीव आहेत.
कंपनीचे म्हणणे आहे की यामुळे तिचा प्रशिक्षण डेटाही ताणला जातो. २ ट्रिलियन टोकनचा भारतीय मजकूर संग्रह, तिच्या अंदाजानुसार, इतर लोकप्रिय टोकनायझरमधून गेलेल्या ६ ते ८ ट्रिलियन टोकनइतके प्रशिक्षण संकेत देतो. प्रशिक्षणासाठी योट्टाच्या शक्ती क्लस्टरचे १,०२४ GPU पाच दिवस वापरले गेले.
६ मार्च २०२६ रोजी सर्वमने दोन मोठी खुली मॉडेल, सर्वम ३०B आणि सर्वम १०५B, प्रसिद्ध केली; त्यांचा टोकनायझर १२ लिप्यांतील सर्व २२ अनुसूचित भारतीय भाषांना सामावतो. पोस्टनुसार तो इतर ओपन-सोर्स टोकनायझरपेक्षा सरस आहे आणि ओडिया, संताली आणि मणिपुरी (मैतेई) यांसारख्या कमी संसाधनांच्या भाषांसाठी लक्षणीयरीत्या अधिक कार्यक्षम आहे. पोस्ट ती तुलना आलेखाच्या रूपात दाखवते, मजकुरात कोणतीही मूल्ये नाहीत, त्यामुळे त्यातून कोणतेही आकडे उद्धृत करता येत नाहीत. सर्वम असेही नोंदवते की भारतीय भाषांतील निर्मितीवर ३०B मॉडेलचा तिने मोजलेला सेवा-वेगातील फायदा हा टोकनायझर १० पट इतका वाढवतो. ही मॉडेल राष्ट्रीय कार्यक्रमात कुठे बसतात यासाठी भारत स्वतःच्या भाषांत एआय बांधत आहे हे पाहा.
ग्नानी: मॉडेलला पुन्हा प्रशिक्षित न करता टोकनायझरचा विस्तार
ग्नानी.ai भारतीय भाषांसाठी आवाज आणि संवादी एआय बनवते. NVIDIA च्या लेखकांसह असलेली आणि १९ मे २०२६ ची तारीख असलेली ग्नानीची पोस्ट NVIDIA च्या नेमोट्रॉन ३ नॅनोच्या टोकनायझरवरून सुरू होते, जो एका मिस्ट्रल मॉडेलकडून वारसाहक्काने आलेला आणि मुख्यतः इंग्रजी व युरोपीय मजकुरावर प्रशिक्षित होता. त्याखाली एका भारतीय भाषेतील शब्दाचे चार किंवा त्याहून जास्त टोकन होऊ शकतात, असे ग्नानी सांगते. मॉडेलला पुन्हा प्रशिक्षित न करता किंवा त्याची रचना न बदलता हिंदी, बंगाली, तमिळ आणि तेलुगूसाठी टोकनायझरचा विस्तार करणे हे ग्नानीचे ध्येय होते.
दोन पद्धतींची तुलना झाली. एक पद्धत भारतीय भाषांतील मजकूर वापरून विद्यमान मर्ज तक्त्यावर बाइट पेअर एन्कोडिंग पुढे चालू ठेवते, ३२,००० पेक्षा जास्त नवे मर्ज नियम हे लक्ष्य ठेवून. दुसरी पद्धत वेगळा भारतीय भाषा टोकनायझर प्रशिक्षित करते आणि त्याची टोकन पूर्ण स्ट्रिंग म्हणून शब्दसंग्रहात जोडते. तमिळ ग्नानीचे उदाहरण पुरवते. வாடிக்கையாளர், “ग्राहक”, हा शब्द तिच्या व्यावसायिक तैनातींमध्ये सामान्य आहे. प्रत्यय लागलेले रूप வாடிக்கையாளர்களுக்கு, “ग्राहकांना”, प्रशिक्षणात कदाचित कधीच आले नसेल, आणि दुसऱ्या पद्धतीत असा शब्द अक्षर-अक्षराच्या तुकड्यांवर घसरू शकतो. पहिल्या पद्धतीत, ग्नानी म्हणते, तो शिकलेल्या भागांतून बांधला जातो.
नोंदवलेले निकाल पहिल्या पद्धतीला अनुकूल आहेत, जिला ग्नानी इंडिक कंटिन्यूड BPE म्हणते. चार भाषांतील १.८८०२ ही सरासरी सर्वम ३०B च्या २.००६३, जेम्मा ३ २७B च्या २.११३२, GPT-OSS-२०B च्या २.७९ आणि बदल न केलेल्या नेमोट्रॉनच्या ३.१९९२ शी तुलना करते. भाषानिहाय, हिंदी २.०५७८ वरून १.४८९९ वर, बंगाली ३.०६९७ वरून १.९७०९ वर, तमिळ ३.७४८० वरून १.९९६९ वर आणि तेलुगू ३.९२१२ वरून २.०६३२ वर येते. हिंदी (१.४०९३) आणि बंगाली (१.६९४२) यांवर ग्नानीचाच तक्ता सर्वम ३०B ला पुढे ठेवतो, आणि पोस्ट सांगते की तिच्या प्रशिक्षणातील भारांक द्राविडी भाषांना अनुकूल होते.
ग्नानीच्या मजकुरात ती एका ठिकाणी आठ सार्वजनिक मॉडेलशी आणि दुसऱ्या ठिकाणी सात मॉडेलशी तुलना केल्याचे सांगते, आणि एकूण नऊ टोकनायझरबद्दल बोलते, पण तक्त्यात आठ ओळी आहेत, त्यांपैकी दोन ग्नानीच्या स्वतःच्या. तक्ता सर्वम ३०B आणि जेम्मा ३ २७B साठी हिंदी आणि बंगालीची मूल्ये सारखीच देतो. पोस्ट दोन्ही मुद्द्यांचे स्पष्टीकरण देत नाही.
क्रुट्रिमचा MUTANT, आणि तक्ते का जुळत नाहीत
MUTANT, क्रुट्रिम AI च्या सौविक राणा, अरुल मेनेझेस, आशिष कुलकर्णी, चंद्र खत्री आणि शुभम अग्रवाल यांचा शोधनिबंध, ५ नोव्हेंबर २०२५ रोजी IndicSuperTokenizer या शीर्षकाखाली arXiv वर आला. २२ मार्च २०२६ रोजी सुधारलेली आवृत्ती MUTANT हे नाव धारण करते आणि एक कृती मांडते: लिपीनुसार वाटप केलेला शब्दसंग्रह, भाषा-जागरूक प्री-टोकनायझेशन, आणि प्रशिक्षणाचे दोन टप्पे, आधी शब्दाचे तुकडे आणि मग वारंवार येणारी बहुशब्द एकके.
सारांशात LLaMA ४ पेक्षा ३९.५% चांगली सरासरी फर्टिलिटी आणि सुत्रा या, लेखक ज्याला सध्याचा सर्वोत्तम टोकनायझर म्हणतात त्याच्यापेक्षा १८% चांगली, तसेच इंग्रजी आणि भारतीय भाषांच्या बेंचमार्कवर तुलनात्मक निकाल राखत LLaMA ४ पेक्षा अनुमान थ्रूपुटमध्ये ४४% वाढ, असे नोंदवले आहे. ती तुलना इंग्रजी, २२ भारतीय भाषा आणि कोड यांना व्यापते. शोधनिबंधाच्या तक्ता ३ मध्ये MUTANT-Indic ची २४ पैकी २० स्तंभांत सर्वात कमी फर्टिलिटी आहे. तमिळसाठी तो LLaMA ४ च्या ५.८७ विरुद्ध २.१२ नोंदवतो, तेलुगूसाठी ४.५३ विरुद्ध १.८८, आणि हिंदीसाठी १.८३ विरुद्ध १.२३. मजकूर ओरिया वर LLaMA ४ ला, १०.५१ वर, वेगळे दाखवतो.
तीन स्रोतांना एका क्रमवारी तक्त्यात एकत्र करता येत नाही. GPT-OSS ला तेलुगूसाठी MUTANT शोधनिबंधात ३.१३ आणि ग्नानीच्या पोस्टमध्ये ३.९० मिळतात. सर्वमचा २०२४ चा टोकनायझर सर्वमकडून त्याच्या दहा भाषांत १.४ ते २.१ आणि MUTANT तक्त्यात तेलुगूसाठी २.६३ असा नोंदवला आहे. प्रत्येकात चाचणी मजकूर, भाषा आणि शब्द मोजण्याची पद्धत वेगवेगळी आहे, म्हणूनच फक्त एकाच तक्त्यातील आकडेच तुलनेजोगे आहेत. या लेखासाठी उघडलेल्या स्रोतांत कोणतेही आकडे बाहेरच्या गटाने पुन्हा तपासलेले नाहीत.
कमी टोकनमुळे काय बदलते आणि काय तसेच राहते
कमी टोकन संख्येमुळे खर्च कमी होतो आणि संदर्भ खिडकीत जास्त मजकूर बसतो. चांगली उत्तरे आपोआप मिळत नाहीत. MUTANT चे लेखक नोंदवतात की त्यांनी तपासलेल्या बेंचमार्कवर त्यांच्या टोकनायझरने निकाल तुलनात्मक ठेवले, आणि अशा कोणत्याही शोधनिबंधात हाच दावा शोधायचा असतो. ग्नानीचे म्हणणे आहे की मॉडेल पाहण्याआधीच मजकुराचे तुकडे विखुरणाऱ्या टोकनायझरची भरपाई भारतीय भाषेतील डेटावरचे कितीही फाइन-ट्यूनिंग करू शकत नाही.
टोकनायझेशन किमतीशी काही संबंध नसलेल्या कामांनाही आकार देते. आदित्य सिंग आणि डीजे स्ट्राउज यांच्या फेब्रुवारी २०२४ च्या शोधनिबंधाला आढळले की GPT-३.५ आणि GPT-४ संख्यांचे टोकनमध्ये कसे तुकडे करतात यामुळे त्यांची अंकगणितातील अचूकता बदलते, आणि उजवीकडून डावीकडे गटबद्ध केल्याने कामगिरी मोठ्या प्रमाणात सुधारली.
MUTANT चे लेखक सांगतात की ते आपला मूल्यमापन डेटासेट आणि चौकट प्रसिद्ध करतील, जेणेकरून इतर गट तीच तुलना चालवू शकतील.
स्रोत आणि पुढील वाचन
- Gnani AI and NVIDIA, Building a State-of-the-Art Indic Tokenizer for Nemotron 3 Nano (19 May 2026)
- Sarvam AI, Sarvam 1: The first Indian language LLM (24 October 2024)
- Sarvam AI, Sarvam 30B and Sarvam 105B (6 March 2026)
- Rana, Menezes, Kulkarni, Khatri and Agarwal, MUTANT: A Recipe for Multilingual Tokenizer Design (arXiv 2511.03237, v2 of 22 March 2026)
- arXiv 2511.03237v1, IndicSuperTokenizer: An Optimized Tokenizer for Indic Multilingual LLMs (5 November 2025)
- Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv, 23 May 2023)
- ACL Anthology, Ahia et al., EMNLP 2023 proceedings entry
- Singh and Strouse, Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs (arXiv, 22 February 2024)
- OpenAI Help Center, Understanding and counting tokens
- Claude Platform Docs, Pricing
- Hugging Face Transformers documentation, Tokenization algorithms
हा लेख AI साधनांच्या मदतीने संशोधित आणि लिहिला गेला असून अचूकतेसाठी संपादित केला आहे. हा केवळ सर्वसाधारण माहिती आणि चर्चेसाठी आहे, व्यावसायिक सल्ला नाही. आमचे संपादकीय मानक आणि अस्वीकरण पाहा. चूक आढळली? आम्हाला कळवा.
आवडलं? पुढचा लेख मिळवा.
एका वेळी एक चांगला लेख, थेट तुमच्या इनबॉक्समध्ये. स्पॅम नाही, हवं तेव्हा थांबवा.