Skip to content
भारतीय टीमें अब ऐसे टोकनाइज़र बना रही हैं जो तमिल और तेलुगु को लगभग दो टोकन प्रति शब्द में पढ़ते हैं, जबकि कुछ वैश्विक टोकनाइज़र को चार या उससे ज़्यादा लगते हैं
एआई और प्रौद्योगिकी

भारतीय टीमें अब ऐसे टोकनाइज़र बना रही हैं जो तमिल और तेलुगु को लगभग दो टोकन प्रति शब्द में पढ़ते हैं, जबकि कुछ वैश्विक टोकनाइज़र को चार या उससे ज़्यादा लगते हैं

चित्रण: tuput

हिन्दी

Gnani.ai, सर्वम और कृत्रिम AI, तीनों ने ऐसा टोकनाइज़र प्रकाशित किया है जो भारतीय भाषाओं के टेक्स्ट के लिए चैटबॉट को ज़रूरी टुकड़ों की संख्या घटाता है। 19 मई 2026 को जारी Gnani का टोकनाइज़र तमिल और तेलुगु के लिए लगभग 2.0 टोकन प्रति शब्द बताता है, जबकि जिस टोकनाइज़र से वह शुरू हुआ उसे 3.7 और 3.9 लगते थे।

· · 10 मिनट का पठन

भारतीय शोध टीमों ने चैटबॉट का पहला क़दम, यानी टेक्स्ट को टुकड़ों में काटने वाला टोकनाइज़र, नए सिरे से बनाया है, ताकि तमिल और तेलुगु को लगभग दो टुकड़े प्रति शब्द लगें। Gnani.ai और NVIDIA के शोधकर्ताओं ने 19 मई 2026 को तमिल के लिए औसतन 1.9969 और तेलुगु के लिए 2.0632 टोकन प्रति शब्द बताए। Nemotron 3 Nano के अपने टोकनाइज़र को, जिससे वे शुरू हुए थे, उसी परीक्षण-टेक्स्ट पर 3.7480 और 3.9212 लगे।

दो और भारतीय प्रयास इसी दिशा में हैं। सर्वम AI ने 24 अक्टूबर 2024 को सर्वम-1 के साथ एक टोकनाइज़र प्रकाशित किया और दस भारतीय भाषाओं में 1.4 से 2.1 टोकन प्रति शब्द बताए। बेंगलुरु में कृत्रिम AI के शोधकर्ताओं ने नवंबर 2025 में एक पेपर डाला, जिसका टोकनाइज़र MUTANT-Indic लेखकों की अपनी माप के अनुसार अंग्रेज़ी, 22 भारतीय भाषाओं और कोड में औसत गिनती को मेटा के LLaMA 4 के टोकनाइज़र की तुलना में 39.5% घटाता है।

नीचे का हर फ़र्टिलिटी आँकड़ा उसी टीम से आया है जिसने टोकनाइज़र बनाया, इसलिए हर एक बनाने वाले का अपना दावा है।

टोकन क्या है और फ़र्टिलिटी क्या गिनती है

भाषा मॉडल कभी अक्षर या पूरे शब्द नहीं देखता। टोकनाइज़र पहले टेक्स्ट को टोकन में काटता है, और मॉडल केवल उन्हीं को पढ़ता और लिखता है। OpenAI का हेल्प सेंटर कहता है कि टोकन एक अक्षर, शब्द का हिस्सा, पूरा शब्द या विराम-चिह्न हो सकता है। अंग्रेज़ी के लिए वह मोटे नियम देता है: एक टोकन लगभग चार अक्षर या शब्द का तीन-चौथाई होता है, यानी 100 टोकन लगभग 75 शब्द। वह जोड़ता है कि दूसरी भाषाओं में अक्षरों, शब्दों और टोकनों का रिश्ता अलग हो सकता है।

अधिकांश मौजूदा टोकनाइज़र बाइट पेयर एन्कोडिंग नाम की विधि इस्तेमाल करते हैं। Hugging Face का दस्तावेज़ उसे यों बताता है: एक-एक अक्षर से शुरू करो, फिर टेक्स्ट के नमूने में जो जोड़ी सबसे ज़्यादा बार साथ-साथ दिखती है उसे बार-बार मिलाओ, जब तक शब्दावली लक्ष्य आकार तक न पहुँच जाए। आम शब्द अकेले टोकन बन जाते हैं और दुर्लभ शब्द टुकड़ों में बँट जाते हैं। जिस लिपि का नमूने में बहुत टेक्स्ट होता है उसे लंबे, कुशल टोकन मिलते हैं। जिसका कम होता है, वह छोटे टुकड़ों में कटती है।

फ़र्टिलिटी उसी असर का माप है: प्रति शब्द औसतन कितने टोकन लगे। सर्वम और Gnani दोनों इसे एक ही तरह परिभाषित करते हैं, और सर्वम अंग्रेज़ी को लगभग 1.4 पर रखता है। कम संख्या का मतलब है कि वही वाक्य कम टोकन में आता है। मॉडल इन टोकनों का इस्तेमाल कैसे करता है, इसकी पृष्ठभूमि के लिए देखें चैटबॉट अगला शब्द कैसे अनुमानित करता है और बड़ा भाषा मॉडल कैसे प्रशिक्षित होता है।

बिल और याददाश्त, दोनों टोकन गिनते हैं

टोकन बिलिंग की भी इकाई है और याददाश्त की भी। OpenAI का हेल्प सेंटर कहता है कि टोकन-आधारित क़ीमत मॉडल और टोकन के प्रकार पर निर्भर करती है, और इनपुट व आउटपुट की क़ीमत अलग-अलग होती है। Anthropic का प्राइसिंग पन्ना अपनी दरें प्रति दस लाख टोकन के हिसाब से देता है। टोकन कॉन्टेक्स्ट विंडो भी तय करते हैं, यानी मॉडल एक बार में कितना कुछ नज़र में रख सकता है।

उसी पन्ने की एक और चेतावनी विक्रेताओं की किसी भी तुलना पर लागू होती है: प्रति दस लाख टोकन की कम क़ीमत का मतलब कम कुल लागत नहीं है, क्योंकि मॉडल एक ही टेक्स्ट को अलग-अलग तरह से टोकनाइज़ कर सकते हैं। Anthropic का प्राइसिंग पन्ना अपने मॉडलों के बारे में भी यही बात कहता है, कि उसका नया टोकनाइज़र उसी टेक्स्ट के लिए लगभग 30% ज़्यादा टोकन बनाता है।

Gnani के काम किए हुए उदाहरण में 1,000 शब्दों का एक तेलुगु दस्तावेज़ उसके टोकनाइज़र से लगभग 2,063 टोकन का बनता है, बिना बदले Nemotron टोकनाइज़र से 3,921 का और Qwen 3.5 के टोकनाइज़र से 4,753 का। Gnani का कहना है कि यह एक जैसी सामग्री के लिए अनुमान-लागत का लगभग आधा है। Gnani जोड़ता है कि उसके औसत 1.88 टोकन प्रति शब्द के मुक़ाबले आधार-रेखा के 3.20 पर, तय टोकन-बजट में लगभग 37% ज़्यादा शब्द समा जाते हैं।

वह 2023 का अध्ययन जिसने अंतर नापा

ओरेवाओघेने आहिया और छह सह-लेखकों ने 23 मई 2023 को arXiv पर डाले और EMNLP 2023 सम्मेलन में छपे पेपर में अकादमिक आधार दिया। कई भाषाओं के वाक्यों का एक समानांतर समूह ChatGPT के gpt-3.5-turbo मॉडल के पीछे के टोकनाइज़र से गुज़रा। लेखकों ने पाया कि अपनी लिपि वाली भाषाओं को, तेलुगु उनमें से एक, उतनी ही जानकारी के लिए लैटिन-लिपि वाली भाषाओं से पाँच गुना तक ज़्यादा टोकन लगे।

XLSum सारांशीकरण बेंचमार्क पर वे बताते हैं कि तेलुगु और अम्हारिक में प्रॉम्प्ट और जनरेशन, दोनों पर चार गुना तक ज़्यादा ख़र्च हुआ। उनका सार निष्कर्ष देता है कि समर्थित भाषाओं की बड़ी संख्या के बोलने वालों से ज़्यादा पैसे लिए गए जबकि नतीजे कमज़ोर मिले, और ये बोलने वाले अक्सर उन इलाक़ों के थे जहाँ API पहले से कम सुलभ थे। लेखक कारण के रूप में प्रशिक्षण-डेटा के असंतुलन का अनुमान लगाते हैं, क्योंकि टोकनाइज़र मुख्यतः लैटिन-लिपि वाली भाषाओं, ज़्यादातर अंग्रेज़ी, पर प्रशिक्षित था।

वह अध्ययन 2023 में एक विक्रेता के टोकनाइज़र को जैसा वह तब था, वैसा ही देखता है। कृत्रिम की तालिका, जो आगे है, में OpenAI का ओपन मॉडल GPT-OSS भी है, जिसे हिंदी के लिए 1.72 टोकन प्रति शब्द और ओड़िया के लिए 6.26 लगते हैं।

सर्वम: मॉडल से पहले बना टोकनाइज़र

सर्वम-1, जो 24 अक्टूबर 2024 को ओपन मॉडल के रूप में जारी हुआ, दस भारतीय भाषाओं और अंग्रेज़ी के लिए 2 अरब पैरामीटर का मॉडल है। सर्वम कहता है कि मौजूदा बहुभाषी मॉडलों को भारतीय लिपियों के लिए अक्सर 4 से 8 टोकन प्रति शब्द लगते हैं, जबकि उसका अपना टोकनाइज़र सभी समर्थित भाषाओं में 1.4 से 2.1 तक पहुँचता है। शब्दावली में 68,096 टोकन हैं, जिनमें से 4,096 आगे के जोड़ों के लिए आरक्षित हैं।

कंपनी तर्क देती है कि इससे उसका प्रशिक्षण-डेटा भी खिंच जाता है। उसके अनुमान से 2 खरब टोकन का भारतीय-भाषा कॉर्पस उतना प्रशिक्षण-संकेत देता है जितना दूसरे लोकप्रिय टोकनाइज़रों से गुज़ारे गए 6 से 8 खरब टोकन। प्रशिक्षण में योट्टा के शक्ति क्लस्टर के 1,024 GPU पाँच दिन लगे।

6 मार्च 2026 को सर्वम ने दो बड़े ओपन मॉडल, सर्वम 30B और सर्वम 105B, जारी किए, एक ऐसे टोकनाइज़र के साथ जो 12 लिपियों में सभी 22 अनुसूचित भारतीय भाषाओं को कवर करता है। पोस्ट के अनुसार वह दूसरे ओपन-सोर्स टोकनाइज़रों से बेहतर है और ओड़िया, संथाली और मणिपुरी (मैतेई) जैसी कम संसाधन वाली भाषाओं के लिए काफ़ी ज़्यादा कुशल है। पोस्ट तुलना को एक चार्ट के रूप में दिखाती है और टेक्स्ट में कोई मान नहीं है, इसलिए उससे कोई आँकड़ा उद्धृत नहीं किया जा सकता। सर्वम यह भी बताता है कि टोकनाइज़र भारतीय-भाषा जनरेशन पर 30B मॉडल के नापे गए सर्विंग-लाभ को 10 गुना तक बढ़ा देता है। ये मॉडल राष्ट्रीय कार्यक्रम में कहाँ बैठते हैं, इसके लिए देखें भारत अपनी भाषाओं में AI बना रहा है।

Gnani: मॉडल को दोबारा प्रशिक्षित किए बिना टोकनाइज़र बढ़ाना

Gnani.ai भारतीय भाषाओं के लिए आवाज़ और संवादी AI बनाता है। Gnani की पोस्ट, जिसमें NVIDIA के लेखक हैं और जो 19 मई 2026 की है, NVIDIA के Nemotron 3 Nano के टोकनाइज़र से शुरू होती है, जो एक Mistral मॉडल से विरासत में मिला था और मुख्यतः अंग्रेज़ी और यूरोपीय टेक्स्ट पर प्रशिक्षित था। Gnani के अनुसार उसके तहत भारतीय भाषा का एक अकेला शब्द चार या उससे ज़्यादा टोकन में फैल सकता है। Gnani का लक्ष्य मॉडल को दोबारा प्रशिक्षित किए या उसकी बनावट बदले बिना टोकनाइज़र को हिंदी, बांग्ला, तमिल और तेलुगु के लिए बढ़ाना था।

दो विधियों की तुलना हुई। एक में भारतीय-भाषा टेक्स्ट से मौजूदा मर्ज-तालिका पर बाइट पेयर एन्कोडिंग जारी रखी जाती है, जिसका लक्ष्य 32,000 से अधिक नए मर्ज नियम है। दूसरी में अलग भारतीय-भाषा टोकनाइज़र प्रशिक्षित करके उसके टोकन पूरे स्ट्रिंग के रूप में शब्दावली में जोड़े जाते हैं। तमिल Gnani का उदाहरण देता है। शब्द வாடிக்கையாளர், “ग्राहक”, उसके व्यावसायिक प्रयोगों में आम है। प्रत्यय वाला रूप வாடிக்கையாளர்களுக்கு, “ग्राहकों को”, प्रशिक्षण में शायद कभी आया ही न हो, और दूसरी विधि में ऐसा शब्द अक्षर-दर-अक्षर टुकड़ों पर लौट सकता है। Gnani के अनुसार पहली विधि में वह सीखे हुए हिस्सों से बनता है।

रिपोर्ट किए गए नतीजे पहली विधि के पक्ष में हैं, जिसे Gnani इंडिक कंटिन्यूड BPE कहता है। चारों भाषाओं में औसत 1.8802 है, जबकि सर्वम 30B का 2.0063, Gemma 3 27B का 2.1132, GPT-OSS-20B का 2.79 और बिना बदले Nemotron का 3.1992 है। भाषा-वार, हिंदी 2.0578 से गिरकर 1.4899 पर, बांग्ला 3.0697 से 1.9709 पर, तमिल 3.7480 से 1.9969 पर और तेलुगु 3.9212 से 2.0632 पर आती है। हिंदी (1.4093) और बांग्ला (1.6942) पर Gnani की अपनी तालिका सर्वम 30B को आगे रखती है, और पोस्ट कहती है कि उसके प्रशिक्षण के भार द्रविड़ भाषाओं के पक्ष में थे।

Gnani के टेक्स्ट में कहा गया है कि उसने एक जगह आठ और दूसरी जगह सात सार्वजनिक मॉडलों से तुलना की, और कुल नौ टोकनाइज़रों की बात की गई है, जबकि तालिका में आठ पंक्तियाँ हैं, जिनमें दो Gnani की अपनी हैं। तालिका सर्वम 30B और Gemma 3 27B के लिए हिंदी और बांग्ला के एक जैसे मान भी देती है। पोस्ट इन दोनों बातों की व्याख्या नहीं करती।

कृत्रिम का MUTANT, और तालिकाएँ आपस में क्यों नहीं मिलतीं

MUTANT, कृत्रिम AI के सौविक राणा, अरुल मेनेज़ेस, आशीष कुलकर्णी, चंद्र खटरी और शुभम अग्रवाल का पेपर, 5 नवंबर 2025 को arXiv पर IndicSuperTokenizer शीर्षक से आया। 22 मार्च 2026 को संशोधित संस्करण MUTANT नाम रखता है और एक नुस्ख़ा पेश करता है: लिपि के हिसाब से बाँटी गई शब्दावली, भाषा-सजग प्री-टोकनाइज़ेशन, और प्रशिक्षण के दो चरण, पहले शब्द-खंड और फिर बार-बार आने वाली बहु-शब्द इकाइयाँ।

सार LLaMA 4 से 39.5% बेहतर औसत फ़र्टिलिटी और सुत्र से 18% बेहतर बताता है, जिसे लेखक वर्तमान का सबसे अच्छा टोकनाइज़र कहते हैं, और LLaMA 4 पर अनुमान-थ्रूपुट में 44% का लाभ, जबकि अंग्रेज़ी और भारतीय-भाषा बेंचमार्क पर तुलनीय नतीजे बने रहते हैं। यह तुलना अंग्रेज़ी, 22 भारतीय भाषाओं और कोड को कवर करती है। पेपर की तालिका 3 में MUTANT-Indic की फ़र्टिलिटी 24 में से 20 स्तंभों में सबसे कम है। तमिल के लिए वह LLaMA 4 के 5.87 के मुक़ाबले 2.12, तेलुगु के लिए 4.53 के मुक़ाबले 1.88 और हिंदी के लिए 1.83 के मुक़ाबले 1.23 बताती है। टेक्स्ट ख़ास तौर पर LLaMA 4 को ओड़िया पर, 10.51 के साथ, चुनता है।

तीन स्रोतों को एक लीग-तालिका में नहीं मिलाया जा सकता। GPT-OSS को तेलुगु के लिए MUTANT पेपर में 3.13 मिलता है और Gnani की पोस्ट में 3.90। सर्वम का 2024 का टोकनाइज़र सर्वम के अनुसार अपनी दस भाषाओं में 1.4 से 2.1 पर है और MUTANT तालिका में तेलुगु के लिए 2.63 पर। हर एक में परीक्षण-टेक्स्ट, भाषाएँ और शब्द गिनने का तरीक़ा अलग है, इसीलिए केवल एक ही तालिका के भीतर के आँकड़े तुलनीय हैं। इस लेख के लिए खोले गए स्रोतों में किसी को भी बाहरी समूह ने दोहराकर नहीं परखा है।

कम टोकन क्या बदलते हैं और क्या छोड़ देते हैं

छोटी टोकन-गिनती लागत घटाती है और कॉन्टेक्स्ट विंडो में ज़्यादा टेक्स्ट समाती है। बेहतर जवाब अपने आप नहीं मिलते। MUTANT के लेखक बताते हैं कि उनके परखे बेंचमार्क पर उनके टोकनाइज़र ने नतीजे तुलनीय रखे, और ऐसे किसी भी पेपर में यही दावा देखने लायक़ है। Gnani का तर्क है कि भारतीय-भाषा डेटा पर कितनी भी फ़ाइन-ट्यूनिंग उस टोकनाइज़र की भरपाई नहीं कर सकती जो मॉडल के देखने से पहले ही टेक्स्ट को तोड़ देता है।

टोकनाइज़ेशन उन कामों को भी प्रभावित करता है जिनका क़ीमत से कोई वास्ता नहीं। आदित्य सिंह और DJ स्ट्राउज़ के फ़रवरी 2024 के पेपर ने पाया कि GPT-3.5 और GPT-4 संख्याओं को टोकन में कैसे बाँटते हैं, इससे अंकगणित पर उनकी सटीकता बदलती है, और दाएँ से बाएँ समूह बनाने पर प्रदर्शन काफ़ी बेहतर रहा।

MUTANT के लेखक कहते हैं कि वे अपना मूल्यांकन-डेटासेट और ढाँचा जारी करेंगे, ताकि दूसरे समूह वही तुलना चला सकें।

Share
Copied!

स्रोत और आगे पढ़ने के लिए

  1. Gnani AI and NVIDIA, Building a State-of-the-Art Indic Tokenizer for Nemotron 3 Nano (19 May 2026)
  2. Sarvam AI, Sarvam 1: The first Indian language LLM (24 October 2024)
  3. Sarvam AI, Sarvam 30B and Sarvam 105B (6 March 2026)
  4. Rana, Menezes, Kulkarni, Khatri and Agarwal, MUTANT: A Recipe for Multilingual Tokenizer Design (arXiv 2511.03237, v2 of 22 March 2026)
  5. arXiv 2511.03237v1, IndicSuperTokenizer: An Optimized Tokenizer for Indic Multilingual LLMs (5 November 2025)
  6. Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv, 23 May 2023)
  7. ACL Anthology, Ahia et al., EMNLP 2023 proceedings entry
  8. Singh and Strouse, Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs (arXiv, 22 February 2024)
  9. OpenAI Help Center, Understanding and counting tokens
  10. Claude Platform Docs, Pricing
  11. Hugging Face Transformers documentation, Tokenization algorithms

यह लेख AI उपकरणों की सहायता से शोधित और लिखा गया है, और सटीकता के लिए संपादित किया गया है। यह केवल सामान्य जानकारी और चर्चा के लिए है, पेशेवर सलाह नहीं। हमारे संपादकीय मानक और अस्वीकरण देखें। कोई त्रुटि मिली? हमें बताएँ।

#tokenizer#fertility#sarvam#gnani ai#indic languages#large language models#krutrim#tamil

अच्छा लगा? अगला लेख पाएँ।

एक बार में एक अच्छा लेख, सीधे आपके इनबॉक्स में। कोई स्पैम नहीं, जब चाहें अनसब्सक्राइब करें।

इसी श्रेणी में और: एआई और प्रौद्योगिकी
गूगल के आठ लेखकों ने 12 जून 2017 को ट्रांसफ़ॉर्मर पर शोधपत्र पोस्ट किया, और उसके बड़े मॉडल ने आठ GPU पर 3.5 दिन के प्रशिक्षण के बाद अंग्रेज़ी से जर्मन में 28.4 BLEU हासिल किए
आज के चैटबॉट के पीछे के डिज़ाइन की सैर, शोधपत्र की अपनी तालिकाओं और गूगल के अपने उदाहरण के साथ, जिसमें एक शब्द को नदी की ओर देखना पड़ता है। इसमें 2017 के डिज़ाइन के वे हिस्से भी हैं जिन्हें बाद के मॉडलों ने रखा, बदला या छोड़ा।
रिट्रीवल-ऑगमेंटेड जनरेशन, जिसे पैट्रिक लुईस और 11 सह-लेखकों के 22 मई 2020 के पेपर ने बताया, चैटबॉट को जवाब देने से पहले 21 मिलियन अंशों वाले इंडेक्स से पैसेज उठाने देता है
दस्तावेज़ों से सलाह लेने वाले चैटबॉटों के पीछे के चार चरणों की सीधी-सादी सैर: 2020 का वह प्रयोग जिसमें एक विकिपीडिया डंप की जगह दूसरा रखा गया, पाठ को टुकड़ों में काटने से संदर्भ कैसे खो जाता है, और नापे गए इलाज।
सर्वम का सारस V4 सभी 22 अनुसूचित भाषाओं को पांच आउटपुट रूपों में लिखित पाठ बनाता है, और उसका बुलबुल V4 फ़्लैश वॉइस मॉडल 250 मिलीसेकंड से कम में बोलना शुरू कर देता है, सर्वम की रिपोर्ट
एक मॉडल सुनता है और दूसरा बोलता है, जो हिंदी, तमिल या बंगाली में फ़ोन कॉल चलाने के लिए काफ़ी है। रिलीज़ का ब्योरा, सर्वम का यह तर्क कि शब्द-त्रुटि दर भारतीय बोली को ग़लत नापती है, और वे सार्वजनिक टेस्ट जो दावों के पीछे खड़े हैं।
← सभी लेख