Skip to content
Sarvam的1050亿参数模型每处理一个词元只调用103亿参数,用的是从1991年论文一路走到Mixtral和DeepSeek的混合专家设计
人工智能与科技

Sarvam的1050亿参数模型每处理一个词元只调用103亿参数,用的是从1991年论文一路走到Mixtral和DeepSeek的混合专家设计

插图:tuput

中文

Sarvam在印度、用印度AI使命的算力训练出的开源105B模型,把每个词元送给128个专家中的8个,因此每次只激活103亿参数。这个想法可追溯到雅各布斯、乔丹、诺兰和辛顿1991年的论文,并在2017年1月由诺姆·沙泽尔等人的论文带进语言模型。

· · 1 分钟阅读

Sarvam的105B模型于2026年3月6日以开放权重的形式发布,拥有1050亿个参数(网络在训练中学到的可调数字),但它在Hugging Face上的模型卡说,处理任何一个词元(一个词或一个词的片段)时,只有103亿个参数处于激活状态。节省来自一种叫混合专家的设计。Sarvam说,它在印度、用印度AI使命提供的算力,从零开始训练了这个模型和较小的30B同系列模型。

Mixtral、DeepSeek-V2和DeepSeek的较新模型里用的也是混合专家。从论文和模型卡可以理出一条线:从1991年的一篇论文,到2017年一个拥有1370亿参数的网络,再到2024年至2026年的开放模型。Sarvam的105B与DeepSeek-V2有两处相同的设计,一个是共享专家,一个是压缩形式的注意力,下文都会谈到。

路由器在网络里做什么

对这些术语不熟悉的读者,可以先看我们关于大语言模型如何训练的解读,里面讲了参数、词元和预训练。

在普通的Transformer,也就是今天聊天机器人背后的设计里,每个词元在每一层都要经过一个前馈块。这个块是一大叠数字,承担了模型的大部分处理工作。混合专家模型把这一个块换成几个较小的块,称为专家,再加上一个路由器。Hugging Face 2023年的解读把路由器描述为一个小型的学习网络,决定哪些词元交给哪个专家,并说它与模型的其余部分一起训练。Mistral介绍Mixtral的文章说法相同:专家和路由器同时训练。

结果是两个数字分开了。按Hugging Face 2026年2月的说法,模型的容量取决于总参数,而推理速度取决于激活参数。那篇文章以开放的gpt-oss-20b模型为例:总共210亿参数,每个词元使用32个专家中的4个,激活约36亿。根据苹果M3 Ultra的内存带宽估算,速度约为每秒111个词元,实测约为115个。

专家并不是某个话题的专家。2026年的这篇文章说,它就是一个可学习的子网络,不是什么“数学专家”或“代码专家”。2023年的文章报告说,在一项研究(ST-MoE)中,编码器里的专家专门处理标点或专有名词之类的词元组,而在一次多语言训练中,没有哪个专家专门负责某一种语言。

1991年的想法,2017年的跃进

起点是1991年《神经计算》(Neural Computation)第3卷上的一篇论文,作者是罗伯特·雅各布斯、迈克尔·乔丹、史蒂文·诺兰和杰弗里·辛顿。它描述了一种学习方法,针对由许多独立网络组成的系统,每个网络处理一部分训练样本,由一个门控网络把每个样本送给一个或几个专家,使权重的改动只发生在它们内部。论文的一条脚注说,这个想法最早是雅各布斯和辛顿1988年在匹兹堡的一所暑期学校上提出的。作者的测试办法,是把一个元音识别任务拆成子任务,每个子任务由一个非常简单的专家网络解决。

诺姆·沙泽尔和六位合作者在2017年1月23日发布了下一个重要进展。他们的摘要报告说,在现代GPU集群上,计算效率只有小幅损失,模型容量却有“超过1000倍的提升”。他们构建的这一层最多包含数千个前馈专家,由一个可训练的门控网络为每个样本挑出一个稀疏的组合。他们把其中一层,最多1370亿参数,放在堆叠的LSTM层(一种较早的语言网络)之间,报告说在语言建模和翻译基准上,以更低的计算成本取得了优于已发表最佳成绩的结果。这些结果是作者自己给出的。Hugging Face的叙述补充说,这项工作遇到了通信成本高和训练不稳定的问题。

两次简化:GShard和Switch

2020年6月关于GShard的论文报告说,把一个带稀疏门控专家的多语言翻译模型扩展到了6000亿参数以上,在2048块TPU v3加速器上用4天训练完成,任务是把100种语言翻译成英语。

威廉·费杜斯、巴雷特·佐夫和沙泽尔的Switch Transformers在2021年1月11日问世。它的主要改动是简化路由。Hugging Face指出,早先的设计每个词元至少用两个专家,而Switch只送给一个,这样减少了路由器的工作量、通信和批大小,作者说同时保住了质量。论文报告,在同样的硬件上,预训练速度最高可达其起点T5-Base和T5-Large的7倍,一个万亿参数的模型比T5-XXL快4倍。作者还说,他们首次用较低精度的bfloat16数字训练了大型稀疏模型。

2024年:Mixtral和DeepSeek改写了配方

Mistral AI于2023年12月11日以Apache 2.0许可证发布了Mixtral 8x7B,论文在2024年1月8日跟上。每一层有8个专家,路由器为每个词元挑2个。因为不同词元用到的专家不同,论文说每个词元可以接触到470亿参数,但在一个步骤中只用130亿。Mistral自己的公告给出的是467亿和129亿,四舍五入后是同样的数字,Hugging Face则把速度比作一个120亿参数的模型。Mistral说,Mixtral在大多数基准上与Llama 2 70B和GPT-3.5持平或更好,这是厂商的说法,也是在它自己挑选的测试上测得的。

总数是470亿而不是8乘7等于560亿,原因是只有前馈块被拆成了专家。Hugging Face解释说,注意力和其他部分是共享的。

Mixtral论文发表三天后,DeepSeekMoE论文在2024年1月11日出现。它做了两处改动:把专家切成更细的片,每个词元激活更多片;另外留出一些共享专家来存放通用知识,让被路由到的专家可以更专精。在论文的测试中,一个160亿参数的版本用约40%的计算量达到了LLaMA2 7B的水平,一个初步的1450亿参数版本用28.5%的计算量,也许只要18.2%,达到了DeepSeek 67B的水平。这些比较是作者自己做的。

DeepSeek-V2于2024年5月7日发布:总参数2360亿,每个词元激活210亿,上下文窗口12.8万词元,训练词元8.1万亿。与此前的稠密模型DeepSeek 67B相比,团队报告训练成本降低42.5%,键值缓存缩小93.3%,生成吞吐量最高达到5.76倍。键值缓存是模型在写作时对前面词元保留的记忆,缩小来自论文中的第二个特点,多头潜在注意力(MLA),它把这块缓存压缩成更小的存储形式。

Sarvam在印度造出的两个模型

Sarvam 2026年3月6日的博客和两张模型卡详细给出了设计。两个模型都使用有128个专家的稀疏专家层,除被路由到的专家之外,还有一个始终开启的共享专家。

模型总参数每词元激活使用的路由专家
Mixtral 8x7B(论文)470亿130亿8个中的2个
DeepSeek-V2(论文)2360亿210亿DeepSeekMoE设计
Sarvam 30B(模型卡)约300亿24亿,不含嵌入层128个中的6个
Sarvam 105B(模型卡)约1050亿103亿128个中的8个

模型卡在计算Sarvam 30B的激活参数时不含嵌入层,也就是把词元变成数字的查找表。Hugging Face的文件列表显示,30B模型为320亿参数,105B模型为1060亿,所以模型名称是取整后的。

两者在注意力的处理上不同。30B使用分组查询注意力(Grouped Query Attention),几个注意力头共享存储的键和值(模型卡列出4个键值头),以缩小缓存。105B使用多头潜在注意力,也就是DeepSeek-V2用来压缩缓存的技术,Sarvam称它进一步降低了长输入的内存占用。预训练使用的词元,30B为16万亿,105B为12万亿。

在路由上,Sarvam说它用sigmoid函数而不是常见的softmax给专家打分,并加入了专家偏置项。公司给出的理由是让各专家之间更均衡,减少路由坍塌,也就是少数专家承担了大部分流量的故障。Hugging Face 2023年的文章把负载均衡列为这种设计的难题之一,Switch Transformers的办法是在训练时加一个简化的额外损失。

Sarvam以Apache 2.0许可证发布了两个模型,权重放在AI Kosh和Hugging Face上。它的博客说,30B驱动它的Samvaad对话平台,105B驱动它的Indus助手。博客还报告,在H100芯片上,30B在每位用户速度相当的条件下,每块GPU的吞吐量是Qwen3基线的3到6倍。这个数字,以及公司所说的在印度语言基准上达到最先进水平,都是Sarvam自己的说法。105B的外部评分见我们关于印度AI使命的报道,该使命发布的另一个稀疏模型,ZenteiQ的Dhir 5B,见这篇文章。

这个想法走到了哪里

DeepSeek-V4.1-Flash的模型卡于2026年11月12日已在Hugging Face Hub上线,主干参数5520亿,上下文最长100万词元。模型卡说每个稀疏层有1个共享专家和384个路由专家,每个词元激活6个路由专家。也就是384个路由专家中的6个,约1.6%,而Mixtral用的是四分之一的专家,Sarvam的105B用的是128个中的8个。模型卡列出的训练语料为45万亿词元,许可证为MIT。同样的做法放大到1万亿参数,见我们关于Mistral Large 4的文章。

这个设计没有省下什么

尽管每个词元只有少数专家在工作,所有专家都得放在内存里。Sarvam两个模型列出的320亿和1060亿参数的文件大小,就是机器必须容纳的量。Hugging Face 2023年的解读说,Mixtral这一级的模型需要足够的显存来装下全部470亿参数,混合专家适合跨多台机器的高吞吐量服务,而内存很少、流量很低时稠密模型更合适。它还报告说,稀疏模型在微调时容易过拟合,专家数增加到256或512个之后,继续增加的收益会变小。

Share
Copied!

资料来源与延伸阅读

  1. Jacobs, Jordan, Nowlan and Hinton: Adaptive Mixtures of Local Experts, Neural Computation 3, 79-87 (1991)
  2. arXiv: Shazeer et al., Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (23 January 2017)
  3. arXiv: Lepikhin et al., GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (30 June 2020)
  4. arXiv: Fedus, Zoph and Shazeer, Switch Transformers (11 January 2021)
  5. Mistral AI: Mixtral of experts (11 December 2023)
  6. arXiv: Jiang et al., Mixtral of Experts (8 January 2024)
  7. arXiv: Dai et al., DeepSeekMoE (11 January 2024)
  8. arXiv: DeepSeek-AI, DeepSeek-V2 (7 May 2024)
  9. Hugging Face: Mixture of Experts Explained (11 December 2023)
  10. Hugging Face: Mixture of Experts (MoEs) in Transformers (26 February 2026)
  11. Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)
  12. Hugging Face: Sarvam-105B model card
  13. Hugging Face: Sarvam-30B model card
  14. Hugging Face: DeepSeek-V4.1-Flash model card

本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。

#mixture of experts#sarvam ai#sarvam 105b#mixtral#deepseek#switch transformers#open-weight models#indiaai mission

喜欢这篇吗?下一篇也别错过。

每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。

同类更多: 人工智能与科技
DeepSeek于2026年9月10日发布开放权重的5,520亿参数模型 V4.1-Flash,把每个词元的缓存降到890字节,约为上一代的四分之一
模型对一场长对话的短期记忆,保存起来很贵。DeepSeek 9月的这次发布在设计上把它压缩了,它自己的报告也说明了模型仍落后在哪里。这里讲机制,讲2024年以来的时间线,也讲外界查验过什么。
Sarvam Vision 2.1能读英语和22种附表印度语言,新增手写体和表单提取,在Sarvam自己的测试中于olmOCR-Bench得87.3分
一家班加罗尔公司的模型现在能读22种印度语言的表单、表格和手写体。本文梳理发布文章、公开的基准页面和这一难题背后的文字规则,并追溯每个得分是由谁做的测试。
OpenAI 2020年的缩放定律论文发现模型损失在七个多数量级上按幂律下降,DeepMind 2022年的Chinchilla论文则证明,同样的算力下700亿参数的模型可以胜过2800亿参数的模型
模型的大小、训练文本和算力账单可以互相折算。本文说明每篇论文测了什么、印出了哪些数字,一次复现尝试的结果,以及2026年一份安全报告对这些规则适用范围的说法。
← 全部文章