插图:tuput
中文
Gnani.ai、Sarvam和Krutrim AI各自发布了一款分词器,减少聊天机器人处理印度语言文本所需的片段数。Gnani的分词器于2026年5月19日发布,报告泰米尔语和泰卢固语每词约2.0个词元,而它起步时用的分词器需要3.7和3.9个。
印度的研究团队重建了聊天机器人的第一步,也就是把文本切成片段的分词器,使泰米尔语和泰卢固语每个词只需要约两个片段。Gnani.ai和NVIDIA的研究人员在2026年5月19日报告,泰米尔语平均每词1.9969个词元,泰卢固语2.0632个。在同样的测试文本上,Nemotron 3 Nano自带的分词器,也就是他们起步时用的那个,需要3.7480个和3.9212个。
另外两项印度的工作也指向同一方向。Sarvam AI于2024年10月24日随Sarvam-1发布了一款分词器,报告它在十种印度语言上是每词1.4至2.1个词元。班加罗尔Krutrim AI的研究人员在2025年11月发表了一篇论文,其分词器MUTANT-Indic,据作者自己的测量,在英语、22种印度语言和代码上的平均词元数,比Meta的LLaMA 4的分词器少39.5%。
下文所有生育率数字都来自打造该分词器的团队,所以每一个都是制造者的说法。
词元是什么,生育率数的是什么
语言模型从不看到字母或整个词。分词器先把文本切成词元,模型只读写这些词元。OpenAI的帮助中心说,一个词元可以是一个字符、一个词的一部分、一个完整的词或一个标点。对英语,它给出粗略的规则:一个词元约四个字符,或四分之三个词,所以100个词元约75个词。它补充说,其他语言的字符、词和词元之间,可能有不同的关系。
目前多数分词器使用一种叫字节对编码的方法。Hugging Face的文档是这样描述的:从单个字符开始,然后反复合并在文本样本中最常相邻出现的一对,直到词表达到目标大小。常见的词最后成为单个词元,罕见的词被拆成片段。一种文字在样本中很充足,就得到长而高效的词元;一种文字稀少,就被切成小块。
生育率衡量的就是这种效应:每个词平均所需的词元数。Sarvam和Gnani对它的定义相同,Sarvam把英语定在约1.4。数字越低,同一个句子用的词元越少。关于模型怎么使用这些词元的背景,见聊天机器人如何预测下一个词和大语言模型如何训练。
为什么账单和记忆都按词元算
词元是计费和记忆的单位。OpenAI的帮助中心说,按词元定价取决于模型和词元的种类,输入和输出分别定价。Anthropic的定价页面按每百万词元报价。词元也决定上下文窗口,也就是模型一次能容纳在视野里的量。
该页面的另一条提醒适用于任何厂商间的比较:每百万词元的价格较低,并不保证总成本较低,因为不同模型对同一段文本的分词方式可能不同。Anthropic的定价页面对它自己的模型也有类似的说法,称其较新的分词器对同一文本产生的词元约多30%。
在Gnani的算例中,一篇1,000词的泰卢固语文档,用它的分词器约为2,063个词元,用未改动的Nemotron分词器是3,921个,用Qwen 3.5的分词器是4,753个。Gnani说,这意味着同样内容的推理成本约减半。Gnani还说,它的平均值是每词1.88个词元,基线是3.20个,在固定的词元预算里,能多放下约37%的词。
量出这一差距的2023年研究
奥雷瓦奥格内·阿希亚(Orevaoghene Ahia)和六位合作者,在2023年5月23日发到arXiv、并在EMNLP 2023会议上发表的一篇论文中,提供了学术上的依据。他们把一组多种语言的平行句子,送进ChatGPT的gpt-3.5-turbo模型背后的分词器。作者发现,有自己文字的语言,泰卢固语也在内,为表达同样的信息所需的词元,最多是拉丁文字语言的五倍。
在XLSum摘要基准上,他们报告,泰卢固语和阿姆哈拉语的提示和生成,花费最多高出四倍。他们的摘要得出的结论是:众多受支持语言的使用者被多收了钱,得到的结果却更差,而这些使用者往往来自本来就更难负担这些API的地区。作者推测原因是训练数据的失衡,因为该分词器主要是用拉丁文字的语言训练的,主要是英语。
那项研究涵盖的是一家厂商的分词器在2023年的情况。下文Krutrim的表格里包括OpenAI的开放模型GPT-OSS,它处理印地语需要每词1.72个词元,处理奥里亚语需要6.26个。
Sarvam:先于模型造好的分词器
Sarvam-1于2024年10月24日作为开放模型发布,是一个20亿参数、面向十种印度语言和英语的模型。Sarvam说,现有的多语言模型处理印度文字,往往需要每词4至8个词元,而它自己的分词器在所有支持的语言上是1.4至2.1个。词表有68,096个词元,其中4,096个留作日后增补。
该公司认为,这也延展了它的训练数据。它估计,2万亿词元的印度语言语料,所给的训练信号相当于经由其他常用分词器的6至8万亿词元。训练用了Yotta的Shakti集群的1,024块GPU,历时五天。
2026年3月6日,Sarvam发布了两个更大的开放模型Sarvam 30B和Sarvam 105B,其分词器涵盖12种文字的全部22种印度宪法列表语言。据该文章,它胜过其他开源分词器,对奥里亚语、桑塔利语和曼尼普尔语(Meitei)等资源匮乏的语言效率明显更高。文章以图表展示比较,正文中没有数值,所以无法从中引用数字。Sarvam还报告,该分词器使30B模型在印度语言生成上可测得的服务优势扩大多达10倍。这些模型在国家计划中的位置,见印度正用自己的语言建设人工智能。
Gnani:不重训模型而扩展分词器
Gnani.ai为印度语言开发语音和对话式人工智能。Gnani的文章有NVIDIA的作者参与,日期为2026年5月19日,起点是NVIDIA的Nemotron 3 Nano的分词器,它继承自一个Mistral模型,主要用英语和欧洲文本训练。Gnani说,在它之下,一个印度语言的词可以扩展成四个或更多词元。Gnani的目标是在不重训模型、不改架构的前提下,为印地语、孟加拉语、泰米尔语和泰卢固语扩展这个分词器。
他们比较了两种方法。一种是用印度语言文本,在现有的合并表上继续做字节对编码,目标是新增3.2万多条合并规则。另一种是训练一个单独的印度语言分词器,把它的词元作为完整字符串追加到词表里。Gnani的例子来自泰米尔语。வாடிக்கையாளர்,意为“客户”,是它业务部署中的常见词。带后缀的形式வாடிக்கையாளர்களுக்கு,意为“给客户们”,可能从未在训练中出现过,在第二种方法下,这样的词可能退回成逐字符的片段。Gnani说,在第一种方法下,它是由学到的部件拼成的。
报告的结果偏向第一种方法,Gnani称之为Indic Continued BPE。四种语言的平均值1.8802,对比Sarvam 30B的2.0063、Gemma 3 27B的2.1132、GPT-OSS-20B的2.79和未改动的Nemotron的3.1992。分语言看,印地语从2.0578降到1.4899,孟加拉语从3.0697降到1.9709,泰米尔语从3.7480降到1.9969,泰卢固语从3.9212降到2.0632。在印地语(1.4093)和孟加拉语(1.6942)上,Gnani自己的表格把Sarvam 30B排在前面,文章说,它的训练权重偏向了达罗毗荼语系的语言。
Gnani的文字说,它在一处与八个公开模型作了比较,在另一处是七个,并总共提到九个分词器,而表格列出八行,其中两行是Gnani自己的。表格还给出Sarvam 30B和Gemma 3 27B相同的印地语和孟加拉语数值。文章对这两点都没有解释。
Krutrim的MUTANT,以及为什么这些表格对不上
MUTANT是Krutrim AI的苏维克·拉纳(Souvik Rana)、阿鲁尔·梅内塞斯(Arul Menezes)、阿希什·库尔卡尼(Ashish Kulkarni)、钱德拉·哈特里(Chandra Khatri)和舒布哈姆·阿格拉瓦尔(Shubham Agarwal)的一篇论文,2025年11月5日在arXiv上出现,标题是IndicSuperTokenizer。2026年3月22日修订的版本改称MUTANT,并提出一套方案:按文字分配词表,具有语言意识的预分词,以及两阶段训练,先是词片,再是高频的多词单位。
摘要报告,平均生育率比LLaMA 4好39.5%,比Sutra(作者称之为当前最好的分词器)好18%,推理吞吐量比LLaMA 4提高44%,同时在英语和印度语言基准上保持相当的结果。这一比较涵盖英语、22种印度语言和代码。在论文的表3中,MUTANT-Indic在24列中的20列里生育率最低。对泰米尔语,它报告2.12,LLaMA 4是5.87,对泰卢固语是1.88对4.53,对印地语是1.23对1.83。正文特别提到LLaMA 4在奥里亚语上是10.51。
三个来源无法合并成一张排行榜。GPT-OSS在MUTANT论文中泰卢固语是3.13,在Gnani的文章中是3.90。Sarvam 2024年的分词器,Sarvam报告它在十种语言上是1.4至2.1,MUTANT表格中泰卢固语是2.63。各自的测试文本、语言和数词方法都不同,所以只有同一张表里的数字才能比较。在为本文查阅的来源里,没有一项被外部团队复现过。
词元变少,改变了什么,又没有改变什么
词元数少,会降低成本,并让上下文窗口容纳更多文本。更好的回答并不会自动随之而来。MUTANT的作者报告,他们的分词器在所测试的基准上保持了相当的结果,这是看任何此类论文时都要找的说法。Gnani认为,如果分词器在模型看到文本之前就把它切碎了,再多的印度语言数据微调也补偿不了。
分词还会影响与价格无关的任务。阿迪蒂亚·辛格(Aaditya Singh)和DJ·施特劳斯(DJ Strouse)2024年2月的一篇论文发现,GPT-3.5和GPT-4把数字拆成词元的方式,会改变它们的算术准确率,从右到左分组,成绩大幅提高。
MUTANT的作者说,他们将发布评估数据集和框架,让其他团队可以做同样的比较。
资料来源与延伸阅读
- Gnani AI and NVIDIA, Building a State-of-the-Art Indic Tokenizer for Nemotron 3 Nano (19 May 2026)
- Sarvam AI, Sarvam 1: The first Indian language LLM (24 October 2024)
- Sarvam AI, Sarvam 30B and Sarvam 105B (6 March 2026)
- Rana, Menezes, Kulkarni, Khatri and Agarwal, MUTANT: A Recipe for Multilingual Tokenizer Design (arXiv 2511.03237, v2 of 22 March 2026)
- arXiv 2511.03237v1, IndicSuperTokenizer: An Optimized Tokenizer for Indic Multilingual LLMs (5 November 2025)
- Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv, 23 May 2023)
- ACL Anthology, Ahia et al., EMNLP 2023 proceedings entry
- Singh and Strouse, Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs (arXiv, 22 February 2024)
- OpenAI Help Center, Understanding and counting tokens
- Claude Platform Docs, Pricing
- Hugging Face Transformers documentation, Tokenization algorithms
本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。
喜欢这篇吗?下一篇也别错过。
每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。