插图:tuput
中文
这篇2017年的论文放弃逐词阅读,让句子里的每个词同时看向其他所有词。它的大模型在英德翻译上比此前最好的成绩高出2个BLEU以上;Llama 3、Gemini 1.0、DeepSeek-V3和Sarvam 105B的开发者都说自己的模型是Transformer。
2017年6月12日,八位研究者把一篇题为《Attention Is All You Need》(注意力就是一切)的论文发布到 arXiv 预印本服务器上。论文介绍了 Transformer,用摘要的话说,这是一种“完全基于注意力机制,彻底舍弃循环和卷积”的网络。论文的大模型在 WMT 2014 英德测试上得到28.4 BLEU,这是一个通行的翻译评分,分数越高越好。摘要说,这一成绩比此前最好的结果(包括集成模型)高出2个 BLEU 以上,第6.1节说训练用了八块英伟达 P100 GPU,花了3.5天。
作者是阿希什·瓦斯瓦尼(Ashish Vaswani)、诺姆·沙泽尔(Noam Shazeer)、尼基·帕尔马(Niki Parmar)、雅各布·乌兹科雷特(Jakob Uszkoreit)、利昂·琼斯(Llion Jones)、艾丹·戈麦斯(Aidan Gomez)、卢卡什·凯泽(Lukasz Kaiser)和伊利亚·波洛苏欣(Illia Polosukhin),署名单位是谷歌大脑、谷歌研究院和多伦多大学。论文有一条脚注,说署名顺序是随机的,八人贡献相同。论文于2017年在美国加利福尼亚州长滩举行的神经信息处理系统大会(当时叫 NIPS)上发表(会议论文集页面把它列在第30卷)。大语言模型是怎样训练的讲的是架构选定之后发生的事。本文讲的是架构本身。
为什么一次读一个词会成为瓶颈
2017年之前,领先的翻译系统用的是循环神经网络。论文描述了它们的工作方式:循环网络按顺序走过每个词,在每个位置给出一份滚动的摘要,这份摘要由前一份摘要和当前的词算出。论文说,因为每一步都需要上一步的结果,这种设计“排除了训练样本内部的并行化”。一个句子的各个步骤无法并行运行。
谷歌的博客文章由雅各布·乌兹科雷特撰写,发表于2017年8月31日,举了一个具体的例子。要判断“I arrived at the bank after crossing the…”里的“bank”指河岸还是银行,网络需要知道句子的最后一个词,是“river”(河)还是“road”(路)。文章说,循环网络只能一步一步读完“bank”和“river”之间的每个词之后才能定下来,而一个判断需要的步数越多,网络就越难学会它。文章还补充说,训练所用的芯片 GPU 和 TPU 擅长并行工作,不擅长顺序工作。
卷积网络是另一种主要设计,顺序性较弱。论文指出,在 ByteNet 和 ConvS2S 这两种模型里,连接两个相距较远的词所需的步数仍然随距离增加,ConvS2S 是线性增加,ByteNet 是对数增加。
Transformer之前就有注意力
注意力的想法出现得更早,最初是加在循环网络上的。2014年9月1日,德米特里·巴赫达瑙(Dzmitry Bahdanau)、赵京贤(Kyunghyun Cho)和约书亚·本吉奥(Yoshua Bengio)提交了一篇论文,后来在 ICLR 2015 上作口头报告,针对的是标准设计的一个弱点。通常的编码器与解码器先把整个源句压成一个固定长度的向量,然后解码器才开始翻译。作者推测这是一个瓶颈,于是让模型对源句做“软搜索”,找出对它所写的每个词有用的位置。他们报告说,英法翻译的质量与当时最好的基于短语的系统相当。
一年后,斯坦福大学的 Minh-Thang Luong、Hieu Pham 和克里斯托弗·曼宁(Christopher Manning)在英德翻译上测试了两种注意力。他们的摘要报告说,比没有注意力的同类系统高出5.0 BLEU,组合模型在 WMT 2015 英德任务上得到25.9 BLEU。
Transformer 论文说明了当时注意力通常怎样使用:“除了少数情况”,它都与循环网络并用。八位作者提出的做法是保留注意力,去掉循环部分。在论文关于贡献的脚注里,乌兹科雷特被记为提出用自注意力取代循环网络的人。
一个词怎样看向句子的其余部分
自注意力就是在一个句子内部使用的注意力。谷歌的博客文章用同样的“bank”例子来解释。为了算出“bank”更好的表示,Transformer 把这个词与句中其他每个词作比较。每次比较产生一个注意力分数。这些分数决定其他每个词贡献多少,所以“river”可以得到很高的分数。然后模型对所有词的表示取加权平均,送进一个小型前馈网络,得到新的表示。文章说,因为每个词都能直接看到其他每个词,模型可以关注“river”,一步就做出判断。
论文给比较的各个部分起了名字。一个注意力函数把一个查询(query)和一组键值对(key-value)映射成一个输出,输出是各个值的加权和。每个值的权重来自查询与该值的键的比较。一种理解方式是:每个词提出一个问题(查询),句中每个词都提供一个标签(键)和一些内容(值),最匹配的标签贡献最多的内容。论文的做法是把查询乘以各个键,除以键维度的平方根,再把结果变成总和为一的权重。
做这个除法有原因,作者把它表述为一种怀疑:键很大时乘积会变得很大,把加权函数推到一个学习极慢的区域。解码器一次写出一个词的译文,它还会把后面的位置对自己隐藏起来,这样一个预测只能依赖已知的词。
谷歌的文章还给了第二个例子,是一对句子,其中“it”在一句里指动物,在另一句里指街道。译成法语要看名词的性别,文章说“animal”和“street”在法语里性别不同。按谷歌的说法,Transformer 把两个句子都翻对了,而当时在用的谷歌翻译模型没有,某一个注意力头的图表还显示,对各个名词的注意力随上下文而变化。这是谷歌自己在一对句子上的演示,不是独立的测试。
八个头,以及处理词序的办法
把所有词平均成一团会丢掉细节,所以论文并行运行几组注意力运算,称为多头注意力。基础模型用八个头。每个头处理512个数字的表示中的一段64个数字,最后把结果拼起来,所以总开销与一个头处理完整宽度相近。
论文的表3在一个开发集上检验了这个选择(用的是2013年新闻测试集,而不是2014年的)。只用一个头比最佳设置低0.9 BLEU,头太多时质量也会下降。作者在讨论自注意力时补充说,各个头似乎学会了不同的任务,许多头看上去与句子的语法和语义有关。这是看注意力图表得来的观察,不是证明。
没有循环的网络对词序没有概念,因为所有的词是一起看的。作者的解决办法是给每个词的表示加上位置信息,用的是不同波长的正弦波和余弦波。他们也试过让模型自己学习位置,两种做法的结果几乎一样:基础模型在开发集上是25.7 BLEU对25.8 BLEU。他们保留了正弦版本,因为它或许能处理比训练中见过的任何句子都长的句子。
这是2017年设计中后来的模型换掉的一块。Sarvam 在2026年3月的博客文章里把旋转位置编码列为其模型的特性之一,Meta 的 Llama 3 论文则说,公司把旋转编码的基频提高到500,000,以支持更长的上下文。
为什么训练得更快
论文的表1比较了各类层。一个自注意力层连接任意两个位置只需要常数次顺序运算,而循环层需要的次数随句子长度增长。论文的基础模型在一台带八块英伟达 P100 GPU 的机器上训练了100,000步,约12小时。大模型用了300,000步,3.5天。谷歌的博客说训练速度提高了最多一个数量级,这是谷歌根据自己实验作出的说法。
按后来的标准,这个模型很小。表3列出基础模型有6500万个参数(网络内部可调整的数字),大模型有2.13亿个。Meta 七年后描述的 Llama 3 旗舰模型有4050亿个,约为其1,900倍。
自注意力自有它的代价。把每个词与其他每个词作比较,意味着每层的工作量随句子长度的平方增长,论文说,只有句子比表示宽度短的时候,自注意力才比循环层便宜。作者建议,输入很长时可以把注意力限制在邻近词的范围内,并把它列为今后的工作。Meta 的论文给出了在较晚阶段才用长文本训练的同一个理由:自注意力的计算量随序列长度呈二次方增长,所以 Llama 3 在预训练的最后阶段才达到128,000个词元的上下文。
数字,以及那个不一致的数字
论文的主要结果来自 WMT 2014 翻译任务的 newstest2014 测试集。英译德方面,表2显示大模型是28.4 BLEU,此前最好的成绩是26.36,来自一组 ConvS2S 模型的集成。英译法方面,摘要和表2给出单个模型为41.8 BLEU,而同一篇论文第6.1节的一句话说是41.0。表格和摘要彼此一致,正文不同,所以这里按摘要引用这个数字,并注明这一差异。
作者还把模型用在另一项任务上,即英语成分句法分析,也就是标出句子的语法结构。一个四层的 Transformer 只用《华尔街日报》数据训练,得到91.3 F1,加上额外的半监督数据则得到92.7。论文说,这超过了此前报告的所有模型,只有一个例外,即循环神经网络语法(Recurrent Neural Network Grammar)。谷歌的文章说,同一个网络几乎没有作什么调整,就胜过了此前除一个之外的所有方法。
这些结果是作者自己的,是对照已发表的数字测得的。论文的代码在 tensor2tensor 库中发布,哈佛 NLP 的 Annotated Transformer 则把这个模型逐行重新实现为可以运行的笔记本。
Llama、Gemini、DeepSeek和Sarvam里保留了什么,改动了什么
论文的结论说,作者计划把 Transformer 扩展到文本之外,用于图像、音频和视频。谷歌2017年的文章说这项工作已经开始。到2018年10月,谷歌的 BERT 论文把自己的模型称为多层双向 Transformer 编码器,并把 OpenAI 的 GPT 描述为从左到右的 Transformer,其中每个词元只关注它前面的词元。Hugging Face 的课程把后来的模型归为类似 GPT、类似 BERT 和序列到序列这三类。
今天的大模型的开发者用同样的说法描述自己的工作。Meta 的论文说 Llama 3“采用标准的稠密 Transformer 架构”,其进步主要来自数据的质量、多样性和规模。Meta 为了训练稳定,选了稠密模型而不是混合专家。它的小改动包括分组查询注意力,用8个键值头,以缩小模型在写作时保留的内存。谷歌的 Gemini 报告说,Gemini 模型“建立在 Transformer 解码器之上”,并针对稳定训练和谷歌的 TPU 芯片作了改进,其中点名了多查询注意力。
DeepSeek 的 V3 报告说,其基本架构仍在 Transformer 框架之内,用了多头潜在注意力(Sarvam 把它描述为一种压缩的注意力,可以减少内存占用)和混合专家前馈层。该模型总共有6710亿个参数,每个词元用到其中370亿个。Sarvam AI 把它的300亿和1050亿参数模型描述为带128个专家的混合专家 Transformer 骨干。30B 用分组查询注意力,105B 用多头潜在注意力。Sarvam 说两者都是在印度、用 IndiaAI 使命提供的算力训练的,并以 Apache 2.0 许可发布,相关内容见IndiaAI 使命一文和印度用自己的语言建设人工智能一文。翻译是 Transformer 当初要解决的任务,也是Bhashini 和 AI4Bharat 一文的主题,那篇文章讲的是面向印度宪法附表所列22种语言的开放翻译模型。
在所有这些模型里,2017年的自注意力层仍是核心,变化在于键和值怎样存放、位置怎样编码,以及用什么取代单一的前馈层。2017年的大模型有6层、16个头;Meta 的论文给出 Llama 3 405B 为126层、128个注意力头。
资料来源与延伸阅读
- Vaswani et al.: Attention Is All You Need, arXiv:1706.03762 (submitted 12 June 2017, abstract page)
- Vaswani et al.: Attention Is All You Need, full paper as presented at NIPS 2017 (PDF)
- NeurIPS Proceedings: Attention is All you Need (Advances in Neural Information Processing Systems 30, 2017)
- Google Research blog, Jakob Uszkoreit: Transformer, A Novel Neural Network Architecture for Language Understanding (31 August 2017)
- Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate, arXiv:1409.0473 (submitted 1 September 2014, ICLR 2015)
- Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate (full paper, PDF)
- Luong, Pham and Manning, Stanford: Effective Approaches to Attention-based Neural Machine Translation, arXiv:1508.04025 (2015)
- Devlin et al., Google AI Language: BERT, Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv:1810.04805
- Gemini Team, Google: Gemini, A Family of Highly Capable Multimodal Models, arXiv:2312.11805
- Llama Team, AI @ Meta: The Llama 3 Herd of Models, arXiv:2407.21783 (23 July 2024)
- DeepSeek-AI: DeepSeek-V3 Technical Report, arXiv:2412.19437
- Sarvam AI: Open-Sourcing Sarvam 30B and 105B (6 March 2026)
- Harvard NLP and collaborators: The Annotated Transformer (line-by-line implementation of the paper)
- Hugging Face LLM Course: How do Transformers work?
本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。
喜欢这篇吗?下一篇也别错过。
每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。