插图:tuput
中文
BharatGen是以孟买印度理工学院为牵头单位的联盟,2026年2月在印度AI影响力峰会上发布了Param2。这是一个混合专家推理模型,BharatGen称它从零开始预训练,使用了约22.5万亿个词元,权重已在非商业研究许可下开放下载。
BharatGen是由政府出资、以孟买印度理工学院(IIT Bombay)为牵头单位的联盟,在2026年2月16日所在的那一周,于新德里的印度AI影响力峰会上发布了Param2。这是一个有170亿参数的语言模型,参数是模型在训练中学到的可调数字,其中约24亿参数处理任何一个词元(一个词或词的一部分)。联盟称,这个模型是从零开始预训练的,没有借用别人的模型,能处理英语和印度宪法第八附表中的全部22种语言。联盟表示,权重已放在Hugging Face和AIKosh上;AIKosh是印度AI使命(IndiaAI Mission)的模型与数据集库。
各来源对发布日期的说法不一。Business Today报道发布在2月16日,BharatGen的发布文章和新闻信息局(PIB)的新闻稿日期是2月17日,Business Standard在2月18日报道了这一消息。下文每一个性能数字都出自BharatGen自己,查阅过的页面中,没有一个报告了联盟之外的人对Param2做的测试。
九家机构,两个资金来源
据联盟2026年10月15日的两年回顾,这个联盟由九家机构组成:孟买印度理工学院、海得拉巴国际信息技术学院(IIIT Hyderabad)、曼迪印度理工学院、坎普尔印度理工学院、海得拉巴印度理工学院、印多尔印度管理学院、德里国际信息技术学院、马德拉斯印度理工学院和卡拉格布尔印度理工学院。自2024年10月在新德里启动以来,科学技术部一直支持它。PIB 2026年2月17日的新闻稿给出的资金是:来自该部跨学科信息物理系统国家使命的235 crore卢比,外加印度AI使命另行安排的1,058 crore卢比。该使命的拨款如何运作,见一篇关于印度AI使命的GPU、模型与资金的文章。
Param2的前身是Param1,一个面向印地语和英语、有29亿参数的模型,BharatGen于2025年7月16日在arXiv预印本中作了介绍。回顾说,Param1用7.5万亿个词元训练。七个月后,据tuput根据这些数字的推算,Param2的总参数量接近六倍,训练文本约为三倍,语言从两种增加到23种。
按BharatGen的说法,算力来自印度AI使命。其首席执行官Rishi Bal在2月16日对Business Today说,目前从该使命获得的GPU已全部用于训练Param2,项目用了大约4,000块GPU,历时一个多月。模型卡说,训练在NVIDIA H100 GPU上进行,使用NVIDIA的NeMo软件,用了24天;Business Standard报道说NVIDIA参与合作了训练流程。模型卡和发布文章都没有给出GPU数量,而模型卡列出的576个GPU小时,等于24天的实际耗时,所以仅凭已公布的数字,无法比较这两种说法。
存下170亿,动用24亿
从架构上说,它是一个混合专家模型。它不让每个词元都穿过整个网络,而是由一个小型路由器为每个词元挑选几个专门的子网络,称为专家。Hugging Face的配置文件列出了64个路由专家,每个词元选6个,另有2个始终运行的共享专家,共21层,其中第一层是普通的稠密层。注意力机制用32个查询头,共享8个键和值头。一篇混合专家模型解说从1991年的一篇论文讲到Sarvam的1050亿参数模型,梳理了这一设计的脉络。
BharatGen自己打的比方是医院:病人见的是一位全科医生和几位相关的专科医生,而不是楼里的每一位医生。据模型卡,两个共享专家让各语言间保持稳定的表示,有助于处理语码转换(在一句话里混用印地语和英语),也让模型在一种语言中学到的东西可以迁移到其他语言。BharatGen说,每个词元只有约24亿参数用到算力,所以这个模型的运行成本相当于一个小得多的模型。
代价在内存。虽然每次只有一小部分参数在工作,每个参数却都要保持加载。Hugging Face页面统计,存储的权重中有17,151,125,376个参数,文件总计34.3 GB,这与BharatGen的发布文章所说以bfloat16(一种16位数字格式)加载模型需要34 GB的GPU内存相吻合。
用什么训练
模型卡上出现了三个预训练阶段。第一阶段涵盖14.05万亿个词元,其中英语8.5万亿,代码1.83万亿,印地语9,986亿个词元,其他印度语言合计1.5万亿个词元。据tuput推算,印地语和其他印度语言约占其中的18%。第二阶段偏重英语、代码、数学、指令和推理数据,5,000亿词元的第三阶段被标为长上下文预训练。BharatGen说,印度语言数据用为22种语言构建的质量分类器做了过滤。
约22.5万亿个词元是模型卡的头条数字,而它的合计总数写的是22.63万亿。它列出的第二阶段各行加起来是7.14万亿个词元,而标明的阶段总数是8.08万亿,相差约0.94万亿,模型卡没有解释。Analytics India Magazine对发布的报道给出的是22万亿。
分词器是把文本切成词元的部件,Param2有自己的分词器。BharatGen说它的词表有128,000个条目,用字节对编码构建,并用所有目标语言训练,所以印度语言的词比在全球模型中被切成更少的片段。发布文章里没有给出每个词切成多少片的数字。其他团队测得的结果,见一篇关于印度语言的分词器生育率的文章。它的上下文窗口,即一次能读入的文本量,是32,768个词元。
代码注释写成泰卢固语的推理模型
发布在Hugging Face上的版本是一个推理模型。在给出答案之前,它会在think标签之间写出一段逐步推理的记录,仓库里附有一个小解析器,把推理记录、工具调用和最终答案分开。发布文章说,它也涵盖代码、数学和工具调用,模型卡展示了三个示例输出:一道多步骤的平均数题,一段注释全用泰卢固语写的Python二分查找,以及一个用印地语回答的问题,讲印度各邦的语言、食物和节日为什么各不相同。
这22种语言就是第八附表中的语言,我们的解说列出了它们。发布文章说,印地语、马拉地语、古吉拉特语和泰米尔语属于表现最强的几种,各语言的质量随训练数据量而不同。
分数,以及两张不一致的表
两处都用四个开放模型作对照:Qwen1.5-MoE-A2.7B、DeepSeek-R1-Distill-Qwen-14B、DeepSeek-V2-Lite和gpt-oss-20b。分数是零样本的,即提示里不带示例,用开放测试工具包LM Evaluation Harness运行,并且所有模型都关闭了思考功能。发布文章说,这意味着这些数字没有体现推理记录带来的增益。
在英语、数学和代码上,发布文章和模型卡是一致的:
| 测试 | Param2得分 | 在五个模型中的名次 |
|---|---|---|
| ARC Challenge(英语) | 56.83 | 第1 |
| HellaSwag(英语) | 77.43 | 第2 |
| MMLU(英语) | 57.79 | 第4 |
| GSM8K(数学) | 57.32 | 第3 |
| HumanEval(代码) | 36.59 | 第1 |
| IFEval(指令遵循) | 34.05 | 第2 |
在印度语言测试上,两者不同。2月17日的发布文章里,Param2在五项上排第一:印地语MMLU为59.23,印地语HellaSwag为49.63,Indic BoolQ为75.98,ARC Challenge(Indic)为36.37,TriviaQA(Indic多项选择)为72.95;在Sanskriti文化知识测试上排第三,为66.54。2026年11月19日读到的模型卡,对同样六项测试依次给出64.1、64.1、87.7、90.1、84.14和88.6,六项全部第一。两处都关闭了思考功能,两个Indic平均值在各自的版本里都涵盖10种语言。Hugging Face显示模型卡最后修改于2026年11月18日,没有说明是模型还是测试设置发生了变化。文本模型页面仍然沿用发布文章的数字,并把它们标为2月的版本。
唯一一份讨论Param2已公布结果的外部文件是一份综述,而不是一次测试。在2026年8月12日的一篇预印本(8月16日修订)中,Avinash Agarwal和Vridhi Jain仅用公开报告的分数比较了印度的基础模型。作者写道,Param2报告的结果有限,集中在印度语言测试上,而印度模型所报告的大多数结果都是开发者自己的。Param2的训练被暂时归入完全本土研发一类,作者说他们没有独立核实这一类别的每个要素。
技术报告页面列出了关于Param1、AyurParam和一个农业咨询助手的论文,以及2026年9月一份关于主权AI技术栈的白皮书,该白皮书评估了Param2的推理能力。截至2026年11月19日,没有一份是专门讲Param2的。发布文章称这次发布是早期的后训练检查点,投入生产使用前还需要进一步微调和安全对齐;Bal对Business Today说,这是一个开发者可以微调的检查点。
谁能下载,条件是什么
Hugging Face仓库创建于2026年2月16日,最后修改于2026年11月18日。11月19日该页面显示累计下载167,875次、86个赞。它自己的文本模型页面说Param2的下载量在167,000次以上,Param系列在219,000次以上。BharatGen列出了医院、邦政府、一个部和一家新闻编辑部作为基于其模型开发的合作方,它的页面没有说其中哪些在使用Param2。tuput关于EKA-1和Dhīr的文章,讲的是印度AI使命的另外两个模型发布。
BharatGen的页面称这次发布为开放权重。它的许可证是BharatGen Research License,最后更新于2025年8月7日,允许为非商业研究和学术目的使用、修改和分发。商业使用、公开发布、微调或部署该模型或其衍生品,以及通过任何托管服务或API提供它(哪怕是免费的),都需要BharatGen法务团队的书面许可。用户拥有自己生成的输出,但受非商业限制约束。因此,想以Param2为基础做产品的公司,要先写信给BharatGen。
Bal在2月说,预计“今年内会陆续推出更大的模型”。截至2026年11月19日,BharatGen的文本模型页面仍把Param2列为旗舰,模型卡也仍然说,上下文窗口为128k词元的变体“即将发布”。
资料来源与延伸阅读
- BharatGen: Param2, what we built and how (17 February 2026)
- Hugging Face: bharatgenai/Param2-17B-A2.4B-Thinking, model page and card (read 19 November 2026)
- Hugging Face: Param2-17B-A2.4B-Thinking, config.json
- Hugging Face: Param2-17B-A2.4B-Thinking, LICENSE (BharatGen Research License, 7 August 2025)
- PIB: The Artificial Intelligence is no longer an option but an essential component of working in every sphere of life, Dr Jitendra Singh at the BharatGen session (17 February 2026)
- BharatGen: Param, language models for India (text models page, read 19 November 2026)
- BharatGen: Two years of BharatGen (15 October 2026)
- BharatGen: Technical reports (read 19 November 2026)
- arXiv 2507.13390: PARAM-1 BharatGen 2.9B Model (16 July 2025)
- arXiv 2608.11891: Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models, Agarwal and Jain (12 August 2026, revised 16 August)
- Business Today: BharatGen to launch 17-billion-parameter multilingual AI model at India AI Impact Summit (12 February 2026)
- Business Today: Most real-world use cases don't need trillion-parameter AI, BharatGen CEO Rishi Bal on Param 2 launch (16 February 2026)
- Analytics India Magazine: After Param2, BharatGen unveils Patram, Sooktam and Shrutam AI models at India AI Impact Summit (17 February 2026)
- Business Standard: BharatGen unveils Param2 17B multilingual MoE model under sovereign AI push (18 February 2026)
本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。
喜欢这篇吗?下一篇也别错过。
每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。