Skip to content
Mamba用大小固定的滚动摘要,注意力则重读每一个词;两者的混合体如今运行在IBM的Granite 4.0、NVIDIA的Nemotron模型、Jamba和Sarvam的Saaras V4里
人工智能与科技

Mamba用大小固定的滚动摘要,注意力则重读每一个词;两者的混合体如今运行在IBM的Granite 4.0、NVIDIA的Nemotron模型、Jamba和Sarvam的Saaras V4里

插图:tuput

中文

IBM的Granite 4.0-H-Small有36个Mamba-2层、只有4个注意力层,IBM称这一设计使处理长输入所需的内存减少70%以上。这个思路从2021年名为S4的论文,经2023年的Mamba,一路走到AI21、Zyphra、NVIDIA、IBM和Sarvam的混合模型。

· · 1 分钟阅读

IBM的Granite 4.0-H-Small于2025年10月2日以Apache 2.0许可证发布,有320亿参数(模型在训练中学到的可调数字),其Hugging Face模型卡列出了36个Mamba-2层,只有4个注意力层。IBM称,在输入很长或同时服务很多用户时,这一设计所需的内存比传统Transformer模型少70%以上。

Mamba是构建语言模型的一种方式,它不会重读每一个更早的词。Albert Gu和Tri Dao于2023年12月1日发布了它,如今把它与少量注意力层混合的模型,来自AI21、Zyphra、NVIDIA、IBM,以及在语音识别方面来自印度的Sarvam。本文追踪每一步背后的论文和开发方页面,并标出每一个属于开发方自己的速度或内存数字。

文本变长,注意力要付出什么

大多数聊天机器人都是Transformer,Transformer的核心是注意力,即把每个词与它前面的词作比较的那一步。我们对2017年Transformer论文的解说讲了它是如何运作的。

成本随文本变长而显现。NVIDIA的Nemotron-H论文说,生成一个词元(一个词或词的一部分)时,自注意力层的工作量随已见词元的数量增长,还必须保存一份此前结果的存储,即KV缓存,其大小与文本长度成正比。我们关于DeepSeek V4.1-Flash的文章详细解释了KV缓存。IBM换了个说法讲同一点:如果输入长度翻倍,Transformer对整个输入就要做四倍的计算。

一本大小固定的笔记本

设想一位读者只允许带一本大小固定的笔记本。读完每个词之后,读者决定写下什么、擦掉什么,而且从不回头看原文。笔记本从不变大,所以不论文本是十个词还是一百万个词,每个新词花的力气都一样。代价是,笔记本没留下的东西就没了。

这个类比是本文自己的。Gu和Dao在Mamba论文中把它表述为把上下文压缩进一个更小的状态:他们写道,注意力有效而低效,因为它完全不压缩上下文;而状态有限的循环模型高效,却受限于这个状态容纳上下文的能力。在状态空间模型里,“状态”就是那本笔记本。

2021年的S4:能处理极长序列的状态空间层

状态空间模型来自控制工程,到2021年,它们有一个已知的弱点。Gu、Goel和Ré(斯坦福)在2021年10月31日发布的S4论文摘要中写道,传统模型“难以扩展到10000步或更长的超长序列”,而此前的状态空间方法在计算和内存上成本太高,无法普遍使用。S4改变了这一层的设置方式,使它可以高效得多地计算。

作者报告,在序列式CIFAR-10(一项把图像分类当作一条长序列来读的测试)上准确率达到91%,没有用数据增强,与更大的二维ResNet相当。他们还报告解决了Path-X,这是一项序列长度为16,000的任务,用他们的话说,此前所有工作都做不出来;并报告在图像和语言建模任务上,生成速度比Transformer快60倍,同时缩小了大部分质量差距。这些是作者的结果。

2023年的Mamba:让模型选择保留什么

S4层对每个输入都应用同样的固定规则。Gu和Dao的改动是让这一层的参数取决于当前输入,这样模型就可以沿序列“有选择地传播或遗忘信息”,这是他们的原话。论文还配上了一个硬件感知的算法,在GPU(图形处理器,运行大多数AI工作的芯片)上高效计算这一层,并配上一个既不用注意力、也不用常规前馈块的简化网络。

论文报告,训练时内存和计算随序列长度线性增长,生成的每一步耗时恒定,因为没有此前条目的缓存。在速度测试中,用一块A100 80 GB GPU,提示为2,048个词元、生成128个词元,Mamba的推理吞吐量(每秒产出的词数)达到同等规模Transformer的4到5倍,部分原因是没有KV缓存,它可以用大得多的批次。摘要把这个数字取整为5倍。作者还报告,在他们的测试中,他们的30亿参数Mamba胜过同等规模的Transformer,并与两倍于它规模的Transformer持平。他们发布了代码和训练好的检查点。

2024年的Mamba-2:注意力与状态空间模型原来是近亲

Dao和Gu的第二篇论文于2024年5月31日以“Transformers are SSMs”为题发布,论证这两个家族关系很近。他们的“状态空间对偶”框架通过一类结构化矩阵,把状态空间模型和注意力的变体联系起来。实际成果是Mamba-2,作者说它的核心层比Mamba的快2到8倍,并且能容纳大得多的滚动摘要。他们报告,一个27亿参数的Mamba-2在Pile(一个开放文本集合)的3,000亿个词元上训练后,胜过原版Mamba 2.8B,也胜过用同样数据训练的Pythia 2.8B和6.9B模型。

为什么光靠笔记本不够

固定的笔记本可能丢失细节,这就是混合模型保留一些注意力的原因。Jamba论文对此做了直接测试。在13亿参数、2,500亿训练词元的规模下,纯注意力模型、纯Mamba模型和混合模型在IMDB(给影评标注正面或负面的测试)上得分如下。

模型IMDBQuACNarrativeQA
仅注意力84.127.945.8
仅Mamba48.820.227.7
注意力与Mamba混合90.926.643.7

QuAC和NarrativeQA是问答测试。Jamba的作者报告,纯Mamba模型在IMDB上常常破坏答案格式,回答的是“Very Good”或“3/10”这类内容,而不是允许的两个标签,他们把这一点与上下文学习联系起来,即从提示中的示例学会一项任务的能力。在70亿参数、500亿词元之后,他们发现纯Mamba“相当有竞争力”,但略逊于注意力,而混合模型领先于两者。Zamba2报告和IBM的发布说明讲的是同一点:纯状态空间模型在上下文学习上做得没那么好。

Mamba-2论文测试了混合模型需要多少注意力。在一个3.5亿参数、48层的模型上,困惑度(衡量模型对真实文本有多意外的分数,越低越好)在纯Mamba-2上是8.60,在全Transformer配方上是8.68,用六个注意力层时是8.26。作者发现,约10%的层是注意力时效果最好。他们提出一个假设:状态空间层负责一般的序列处理,而注意力层起查找表的作用,可以跳回更早的词元,而不必逼着模型把一切都挤进它的状态。

四种混合模型,用开发方自己的话说

下表给出各来源所述的注意力占比。各来源数层的方式不同(比如Nemotron-H把前馈层单独列出),所以这些占比相近,但并非完全一致的度量。

模型日期来源所述堆叠中的注意力
Jamba(AI21)2024年3月28日每7个Mamba层配1个注意力层
Zamba2(Zyphra)2024年11月22日Mamba-2骨干,配一两个共享注意力块,权重被重复使用
Nemotron-H(NVIDIA)2025年4月4日约8%的层:8B模型中52层里有4层,56B模型中118层里有10层
Granite 4.0-H(IBM)2025年10月2日三种混合规格都是4个注意力层和36个Mamba-2层,比例为9比1

Jamba把注意力层和Mamba层交错排列,并加入混合专家(一种设计,每个词被路由到少数几个子网络,见我们的解说)。发布的模型总共有520亿参数,每次激活120亿,在Apache 2.0许可证下支持256,000个词元的上下文。论文的表格给出,以16位数字计、256,000个词元的KV缓存,Jamba是4 GB,Mixtral是32 GB,Llama-2 6.7B是128 GB。作者还报告,在四块A100 GPU上、128,000个词元时,吞吐量是Mixtral的3倍。AI21称Jamba是第一个生产级的基于Mamba的模型,这是该公司自己的描述。

Zyphra的Zamba2有12亿、27亿和74亿参数三种规格。报告说权重在Apache 2.0下开放,训练数据集(Zyda-2)也是开放的,模型最多用了三万亿个词元训练。Zyphra说这些模型与同等规模的领先开放权重模型持平或更优,并在延迟、吞吐量和内存使用上有提升,这是该公司自己的比较。

NVIDIA的Nemotron-H论文说,它把大多数注意力层换成了每生成一个词元只需恒定内存的Mamba层。NVIDIA报告,在准确率相近的情况下,推理比同等规模的Transformer最多快3倍。测试用的是65,536个词元的输入和1,024个生成词元,在H100 GPU上运行,用的是NVIDIA为Nemotron-H写的早期实现,对比模型则用vLLM服务软件。对于56B模型,NVIDIA测得每块GPU的输出量是Qwen-2.5-72B和Llama-3.1-70B的2.4倍。论文补充说,Transformer已经被优化了很多年,它预期Nemotron-H还会有进一步提速。

据NVIDIA的家族页面(2025年12月15日发布)和白皮书(2025年12月24日),NVIDIA后来的Nemotron 3系列采用混合专家的Mamba-Transformer混合设计。页面列出的上下文最长100万个词元,并把Nano模型描述为总共316亿参数、激活32亿。NVIDIA报告,在一块H200 GPU上、输入8,000个词元输出16,000个词元时,吞吐量是Qwen3-30B-A3B的3.3倍。该页面在2026年11月19日读到时带有一条更新,说Nemotron 3 Ultra已经发布,但没有给出日期。

IBM的Granite 4.0有三个混合模型:H-Small(320亿参数,激活90亿)、H-Tiny(70亿,激活10亿)和H-Micro(30亿,稠密),另有一个30亿参数的传统Transformer,供尚不能运行混合模型的平台使用。IBM说,这些混合模型不使用位置编码,即告诉Transformer词序的附加信号,因为Mamba按顺序读取词元。IBM还说,混合设计有助于效率,但Granite 4.0相对Granite 3.3的大部分准确率提升来自更好的训练数据和方法,因为连它的传统3B模型也胜过旧的8B模型。70%的内存数字是IBM自己对传统Transformer模型的说法。

Sarvam的Saaras V4

Sarvam于2026年9月25日发布了Saaras V4。它的文章说,这个语音识别系统把一个音频编码器与一个30亿参数的语言模型解码器配成一对,解码器被描述为自己内部从零训练的“混合状态空间模型”。文章没有点出Mamba或确切的层设计,通过REST API和批处理API提供Saaras V4,也没有描述模型权重的发布。我们关于Saaras V4的文章介绍了它的22种语言和测试结果。

来源没有显示什么

上面每一个速度数字都是开发方自己的,是在不同的模型、不同的硬件上、对照不同的基线测得的:Mamba论文中的5倍,Mamba-2层的2到8倍,Nemotron-H中的3倍,Nemotron 3 Nano的3.3倍。它们彼此不可比,本文也没有把它们加总。

打开过的页面中,没有一个给出在当今最大模型的规模上,混合模型与纯Transformer的独立正面比较,也没有一个说别的实验室的聊天产品使用了Mamba层。Saaras V4的架构是Sarvam对自己系统的描述。Granite 4.0的发布说明说,它的模型用最长512,000个词元的样本训练,并在最长128,000个词元的任务上做了验证。

Share
Copied!

资料来源与延伸阅读

  1. arXiv: Gu, Goel and Ré, Efficiently Modeling Long Sequences with Structured State Spaces (S4, 31 October 2021)
  2. arXiv: Gu and Dao, Mamba: Linear-Time Sequence Modeling with Selective State Spaces (1 December 2023)
  3. arXiv: Dao and Gu, Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (31 May 2024)
  4. arXiv: Lieber et al., Jamba: A Hybrid Transformer-Mamba Language Model (28 March 2024)
  5. AI21: Introducing Jamba (28 March 2024)
  6. arXiv: Glorioso et al., The Zamba2 Suite: Technical Report (Zyphra, 22 November 2024)
  7. arXiv: NVIDIA, Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models (4 April 2025)
  8. NVIDIA Research: NVIDIA Nemotron 3 Family of Models (published 15 December 2025)
  9. arXiv: NVIDIA, NVIDIA Nemotron 3: Efficient and Open Intelligence (24 December 2025)
  10. IBM: IBM Granite 4.0, hyper-efficient, high performance hybrid models for enterprise (2 October 2025)
  11. Hugging Face: ibm-granite/granite-4.0-h-small model card
  12. Sarvam AI: Introducing Saaras V4 (25 September 2026)

本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。

#mamba#state space models#hybrid models#jamba#nemotron#ibm granite#sarvam ai#long context

喜欢这篇吗?下一篇也别错过。

每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。

同类更多: 人工智能与科技
八位谷歌作者于2017年6月12日发布Transformer论文,其大模型在八块GPU上训练3.5天后,英德翻译得分达到28.4 BLEU
这篇文章带读者走一遍今天聊天机器人背后的设计,用的是论文自己的表格,以及谷歌自己举的“一个词必须去看河”的例子。文章也讲到2017年设计中后来的模型保留、改动或舍弃的部分。
DeepSeek于2026年9月10日发布开放权重的5,520亿参数模型 V4.1-Flash,把每个词元的缓存降到890字节,约为上一代的四分之一
模型对一场长对话的短期记忆,保存起来很贵。DeepSeek 9月的这次发布在设计上把它压缩了,它自己的报告也说明了模型仍落后在哪里。这里讲机制,讲2024年以来的时间线,也讲外界查验过什么。
Sarvam的1050亿参数模型每处理一个词元只调用103亿参数,用的是从1991年论文一路走到Mixtral和DeepSeek的混合专家设计
一个小小的路由器把每个词送给128个子网络中的几个,所以处理任何一个词时,模型的大部分都闲着。这个设计从哪里来,Mixtral、DeepSeek和Sarvam怎么用它,它又没有省下什么。
← 全部文章