Skip to content
BharatGen于2026年2月发布的Param2,是一个面向英语和全部22种印度宪法附表语言的170亿参数模型,每处理一个词元只动用24亿参数
人工智能与科技

BharatGen于2026年2月发布的Param2,是一个面向英语和全部22种印度宪法附表语言的170亿参数模型,每处理一个词元只动用24亿参数

插图:tuput

中文

BharatGen是以孟买印度理工学院为牵头单位的联盟,2026年2月在印度AI影响力峰会上发布了Param2。这是一个混合专家推理模型,BharatGen称它从零开始预训练,使用了约22.5万亿个词元,权重已在非商业研究许可下开放下载。

· · 1 分钟阅读

BharatGen是由政府出资、以孟买印度理工学院(IIT Bombay)为牵头单位的联盟,在2026年2月16日所在的那一周,于新德里的印度AI影响力峰会上发布了Param2。这是一个有170亿参数的语言模型,参数是模型在训练中学到的可调数字,其中约24亿参数处理任何一个词元(一个词或词的一部分)。联盟称,这个模型是从零开始预训练的,没有借用别人的模型,能处理英语和印度宪法第八附表中的全部22种语言。联盟表示,权重已放在Hugging Face和AIKosh上;AIKosh是印度AI使命(IndiaAI Mission)的模型与数据集库。

各来源对发布日期的说法不一。Business Today报道发布在2月16日,BharatGen的发布文章和新闻信息局(PIB)的新闻稿日期是2月17日,Business Standard在2月18日报道了这一消息。下文每一个性能数字都出自BharatGen自己,查阅过的页面中,没有一个报告了联盟之外的人对Param2做的测试。

九家机构,两个资金来源

据联盟2026年10月15日的两年回顾,这个联盟由九家机构组成:孟买印度理工学院、海得拉巴国际信息技术学院(IIIT Hyderabad)、曼迪印度理工学院、坎普尔印度理工学院、海得拉巴印度理工学院、印多尔印度管理学院、德里国际信息技术学院、马德拉斯印度理工学院和卡拉格布尔印度理工学院。自2024年10月在新德里启动以来,科学技术部一直支持它。PIB 2026年2月17日的新闻稿给出的资金是:来自该部跨学科信息物理系统国家使命的235 crore卢比,外加印度AI使命另行安排的1,058 crore卢比。该使命的拨款如何运作,见一篇关于印度AI使命的GPU、模型与资金的文章。

Param2的前身是Param1,一个面向印地语和英语、有29亿参数的模型,BharatGen于2025年7月16日在arXiv预印本中作了介绍。回顾说,Param1用7.5万亿个词元训练。七个月后,据tuput根据这些数字的推算,Param2的总参数量接近六倍,训练文本约为三倍,语言从两种增加到23种。

按BharatGen的说法,算力来自印度AI使命。其首席执行官Rishi Bal在2月16日对Business Today说,目前从该使命获得的GPU已全部用于训练Param2,项目用了大约4,000块GPU,历时一个多月。模型卡说,训练在NVIDIA H100 GPU上进行,使用NVIDIA的NeMo软件,用了24天;Business Standard报道说NVIDIA参与合作了训练流程。模型卡和发布文章都没有给出GPU数量,而模型卡列出的576个GPU小时,等于24天的实际耗时,所以仅凭已公布的数字,无法比较这两种说法。

存下170亿,动用24亿

从架构上说,它是一个混合专家模型。它不让每个词元都穿过整个网络,而是由一个小型路由器为每个词元挑选几个专门的子网络,称为专家。Hugging Face的配置文件列出了64个路由专家,每个词元选6个,另有2个始终运行的共享专家,共21层,其中第一层是普通的稠密层。注意力机制用32个查询头,共享8个键和值头。一篇混合专家模型解说从1991年的一篇论文讲到Sarvam的1050亿参数模型,梳理了这一设计的脉络。

BharatGen自己打的比方是医院:病人见的是一位全科医生和几位相关的专科医生,而不是楼里的每一位医生。据模型卡,两个共享专家让各语言间保持稳定的表示,有助于处理语码转换(在一句话里混用印地语和英语),也让模型在一种语言中学到的东西可以迁移到其他语言。BharatGen说,每个词元只有约24亿参数用到算力,所以这个模型的运行成本相当于一个小得多的模型。

代价在内存。虽然每次只有一小部分参数在工作,每个参数却都要保持加载。Hugging Face页面统计,存储的权重中有17,151,125,376个参数,文件总计34.3 GB,这与BharatGen的发布文章所说以bfloat16(一种16位数字格式)加载模型需要34 GB的GPU内存相吻合。

用什么训练

模型卡上出现了三个预训练阶段。第一阶段涵盖14.05万亿个词元,其中英语8.5万亿,代码1.83万亿,印地语9,986亿个词元,其他印度语言合计1.5万亿个词元。据tuput推算,印地语和其他印度语言约占其中的18%。第二阶段偏重英语、代码、数学、指令和推理数据,5,000亿词元的第三阶段被标为长上下文预训练。BharatGen说,印度语言数据用为22种语言构建的质量分类器做了过滤。

约22.5万亿个词元是模型卡的头条数字,而它的合计总数写的是22.63万亿。它列出的第二阶段各行加起来是7.14万亿个词元,而标明的阶段总数是8.08万亿,相差约0.94万亿,模型卡没有解释。Analytics India Magazine对发布的报道给出的是22万亿。

分词器是把文本切成词元的部件,Param2有自己的分词器。BharatGen说它的词表有128,000个条目,用字节对编码构建,并用所有目标语言训练,所以印度语言的词比在全球模型中被切成更少的片段。发布文章里没有给出每个词切成多少片的数字。其他团队测得的结果,见一篇关于印度语言的分词器生育率的文章。它的上下文窗口,即一次能读入的文本量,是32,768个词元。

代码注释写成泰卢固语的推理模型

发布在Hugging Face上的版本是一个推理模型。在给出答案之前,它会在think标签之间写出一段逐步推理的记录,仓库里附有一个小解析器,把推理记录、工具调用和最终答案分开。发布文章说,它也涵盖代码、数学和工具调用,模型卡展示了三个示例输出:一道多步骤的平均数题,一段注释全用泰卢固语写的Python二分查找,以及一个用印地语回答的问题,讲印度各邦的语言、食物和节日为什么各不相同。

这22种语言就是第八附表中的语言,我们的解说列出了它们。发布文章说,印地语、马拉地语、古吉拉特语和泰米尔语属于表现最强的几种,各语言的质量随训练数据量而不同。

分数,以及两张不一致的表

两处都用四个开放模型作对照:Qwen1.5-MoE-A2.7B、DeepSeek-R1-Distill-Qwen-14B、DeepSeek-V2-Lite和gpt-oss-20b。分数是零样本的,即提示里不带示例,用开放测试工具包LM Evaluation Harness运行,并且所有模型都关闭了思考功能。发布文章说,这意味着这些数字没有体现推理记录带来的增益。

在英语、数学和代码上,发布文章和模型卡是一致的:

测试Param2得分在五个模型中的名次
ARC Challenge(英语)56.83第1
HellaSwag(英语)77.43第2
MMLU(英语)57.79第4
GSM8K(数学)57.32第3
HumanEval(代码)36.59第1
IFEval(指令遵循)34.05第2

在印度语言测试上,两者不同。2月17日的发布文章里,Param2在五项上排第一:印地语MMLU为59.23,印地语HellaSwag为49.63,Indic BoolQ为75.98,ARC Challenge(Indic)为36.37,TriviaQA(Indic多项选择)为72.95;在Sanskriti文化知识测试上排第三,为66.54。2026年11月19日读到的模型卡,对同样六项测试依次给出64.1、64.1、87.7、90.1、84.14和88.6,六项全部第一。两处都关闭了思考功能,两个Indic平均值在各自的版本里都涵盖10种语言。Hugging Face显示模型卡最后修改于2026年11月18日,没有说明是模型还是测试设置发生了变化。文本模型页面仍然沿用发布文章的数字,并把它们标为2月的版本。

唯一一份讨论Param2已公布结果的外部文件是一份综述,而不是一次测试。在2026年8月12日的一篇预印本(8月16日修订)中,Avinash Agarwal和Vridhi Jain仅用公开报告的分数比较了印度的基础模型。作者写道,Param2报告的结果有限,集中在印度语言测试上,而印度模型所报告的大多数结果都是开发者自己的。Param2的训练被暂时归入完全本土研发一类,作者说他们没有独立核实这一类别的每个要素。

技术报告页面列出了关于Param1、AyurParam和一个农业咨询助手的论文,以及2026年9月一份关于主权AI技术栈的白皮书,该白皮书评估了Param2的推理能力。截至2026年11月19日,没有一份是专门讲Param2的。发布文章称这次发布是早期的后训练检查点,投入生产使用前还需要进一步微调和安全对齐;Bal对Business Today说,这是一个开发者可以微调的检查点。

谁能下载,条件是什么

Hugging Face仓库创建于2026年2月16日,最后修改于2026年11月18日。11月19日该页面显示累计下载167,875次、86个赞。它自己的文本模型页面说Param2的下载量在167,000次以上,Param系列在219,000次以上。BharatGen列出了医院、邦政府、一个部和一家新闻编辑部作为基于其模型开发的合作方,它的页面没有说其中哪些在使用Param2。tuput关于EKA-1和Dhīr的文章,讲的是印度AI使命的另外两个模型发布。

BharatGen的页面称这次发布为开放权重。它的许可证是BharatGen Research License,最后更新于2025年8月7日,允许为非商业研究和学术目的使用、修改和分发。商业使用、公开发布、微调或部署该模型或其衍生品,以及通过任何托管服务或API提供它(哪怕是免费的),都需要BharatGen法务团队的书面许可。用户拥有自己生成的输出,但受非商业限制约束。因此,想以Param2为基础做产品的公司,要先写信给BharatGen。

Bal在2月说,预计“今年内会陆续推出更大的模型”。截至2026年11月19日,BharatGen的文本模型页面仍把Param2列为旗舰,模型卡也仍然说,上下文窗口为128k词元的变体“即将发布”。

Share
Copied!

资料来源与延伸阅读

  1. BharatGen: Param2, what we built and how (17 February 2026)
  2. Hugging Face: bharatgenai/Param2-17B-A2.4B-Thinking, model page and card (read 19 November 2026)
  3. Hugging Face: Param2-17B-A2.4B-Thinking, config.json
  4. Hugging Face: Param2-17B-A2.4B-Thinking, LICENSE (BharatGen Research License, 7 August 2025)
  5. PIB: The Artificial Intelligence is no longer an option but an essential component of working in every sphere of life, Dr Jitendra Singh at the BharatGen session (17 February 2026)
  6. BharatGen: Param, language models for India (text models page, read 19 November 2026)
  7. BharatGen: Two years of BharatGen (15 October 2026)
  8. BharatGen: Technical reports (read 19 November 2026)
  9. arXiv 2507.13390: PARAM-1 BharatGen 2.9B Model (16 July 2025)
  10. arXiv 2608.11891: Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models, Agarwal and Jain (12 August 2026, revised 16 August)
  11. Business Today: BharatGen to launch 17-billion-parameter multilingual AI model at India AI Impact Summit (12 February 2026)
  12. Business Today: Most real-world use cases don't need trillion-parameter AI, BharatGen CEO Rishi Bal on Param 2 launch (16 February 2026)
  13. Analytics India Magazine: After Param2, BharatGen unveils Patram, Sooktam and Shrutam AI models at India AI Impact Summit (17 February 2026)
  14. Business Standard: BharatGen unveils Param2 17B multilingual MoE model under sovereign AI push (18 February 2026)

本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。

#param2#bharatgen#indian language models#mixture of experts#iit bombay#india ai impact summit#indiaai mission#hugging face

喜欢这篇吗?下一篇也别错过。

每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。

同类更多: 人工智能与科技
印度AI使命拥有三万八千多块GPU,每小时租价65卢比,资助了12家模型研发机构,Sarvam在使命算力上训练出了开源模型,2026年2月又宣布增加两万块GPU
算力定价为每小时65卢比,首批模型已经发布,2月的峰会吸引了100多个国家。政府自己的文件对使命的每一根支柱怎么说,以及卡内基印度、塔克沙希拉学会和一位与印度科学研究院有关联的研发负责人的看法。
Sarvam的1050亿参数模型每处理一个词元只调用103亿参数,用的是从1991年论文一路走到Mixtral和DeepSeek的混合专家设计
一个小小的路由器把每个词送给128个子网络中的几个,所以处理任何一个词时,模型的大部分都闲着。这个设计从哪里来,Mixtral、DeepSeek和Sarvam怎么用它,它又没有省下什么。
DeepSeek于2026年9月10日发布开放权重的5,520亿参数模型 V4.1-Flash,把每个词元的缓存降到890字节,约为上一代的四分之一
模型对一场长对话的短期记忆,保存起来很贵。DeepSeek 9月的这次发布在设计上把它压缩了,它自己的报告也说明了模型仍落后在哪里。这里讲机制,讲2024年以来的时间线,也讲外界查验过什么。
← 全部文章