插图:tuput
中文
两篇论文确立了各实验室决定语言模型造多大的规则。OpenAI 2020年的论文偏向把模型做大,DeepMind 2022年的论文主张模型和数据同比例增长,后来DeepSeek、Meta、Epoch AI以及2026年国际AI安全报告的工作又对两者作了修正。
DeepMind用同样的训练算力造了两个语言模型,结果较小的那个赢了。Gopher有2800亿个参数(神经网络内部可调的数字),读了3000亿个词元(模型学习时所用的几个字母一组的文字块)。Chinchilla有700亿个参数,读了1.4万亿个词元。DeepMind的论文于2022年3月29日发布在arXiv上,报告说Chinchilla在它测量的几乎所有任务上都胜过Gopher,其中包括MMLU通识知识测试,Chinchilla得67.5%(论文表格里是67.6),Gopher得60.0。
这个结果来自一种在造出模型之前就预测其质量的办法,叫作缩放定律:用拟合出来的曲线把模型的误差与它的大小、训练数据和所花的算力联系起来。本文追踪确立这套说法的两篇论文,即OpenAI 2020年1月23日的论文和DeepMind 2022年3月29日的论文,再看后来对它们作出调整的工作:2024年1月的DeepSeek,2024年4月一次外部的复现尝试,2024年7月Meta的Llama 3,以及2026年2月3日的国际AI安全报告。关于模型实际是怎样训练的,请看我们的分步解读。
2020年的论文测了什么
OpenAI和约翰斯·霍普金斯大学的贾里德·卡普兰(Jared Kaplan)、萨姆·麦坎德利什(Sam McCandlish)和另外八位合著者,训练了许多种大小的Transformer语言模型,并追踪它们的交叉熵损失,这是衡量模型预测下一个词元有多差的分数,越低越好。摘要说,损失随模型大小、数据集大小和训练算力按幂律下降,有些趋势跨越七个多数量级。幂律在两个坐标轴都取对数的图上是一条直线:输入每增加十倍,损失就稳定而可预测地降低一截。
另外两个发现决定了实验室接下来的做法。网络有多深、多宽之类的架构细节,在很大范围内影响极小,所以起作用的是规模。而在算力预算固定时,论文说最好的结果来自在相对少量的数据上训练非常大的模型,并在远未收敛(再训练已无益处的那一点)之前就停下。它拟合出的指数是:模型大小随算力的0.73次方增长,数据随算力的0.27次方增长。DeepMind后来的论文对此的解读是:算力增加到10倍时,模型应当增大到5.5倍,训练词元只需增加到1.8倍。
卡普兰的论文对自身的局限很坦率。附录说,对这些定律“我们没有扎实的理论理解”,没有这样的理解,就很难知道它们什么时候可信。DeepMind的作者指出,按这条建议行事,当时的大多数大模型,包括GPT-3,都是在约3000亿个词元上训练的。
更大的锅,还是更多的食材
打个厨房的比方会有帮助。训练成本大致是参数数量乘以词元数量再乘以六,卡普兰的论文和DeepSeek的论文用的都是这个近似。把参数想成锅的大小,把词元想成食材的多少,烹饪的时间是固定的。选一口大一倍的锅,时间不变,就只能装半锅。缩放定律回答的,是怎样把一份固定的预算分给锅和食材,才能让损失最低。这个答案就是“计算最优”的含义。
卡普兰的拟合偏向锅。DeepMind的拟合偏向让两者相匹配。
2022年的检验:400多次训练和一个模型
乔丹·霍夫曼(Jordan Hoffmann)、洛朗·西夫尔(Laurent Sifre)和他们在DeepMind的同事训练了400多个模型,参数从不到7000万到超过160亿,每个模型都用几种数量的数据训练。他们用三种办法估计最佳的分配:追踪各条训练曲线上的最低损失,在固定算力预算下拟合曲线(称为IsoFLOP曲线),以及直接用一个公式拟合损失。三者高度一致。模型大小的指数分别是0.50、0.49和0.46,数据的指数分别是0.50、0.51和0.54,而卡普兰的是0.73和0.27。论文的总结是,模型大小每翻一番,训练词元数也应当翻一番。
对于训练Gopher所用的算力,论文给出的数字是5.76 × 10^23次运算,预测是该用一个小四倍的模型,训练词元多四倍。Chinchilla检验了这一点。用论文自己的数字相除,Chinchilla约为每个参数20个词元,GPT-3约为1.7(1750亿参数、3000亿词元),Gopher约为1.1。按论文的估计,像GPT-3这样1750亿参数的模型,最好是用4.41 × 10^24次运算在超过4.2万亿个词元上训练。
有一个数字需要小心。DeepMind 2022年4月12日的博客文章说Chinchilla训练了1.3万亿个词元,而论文正文和第一张表里写的是1.4万亿。本文采用论文的数字,Epoch AI对该论文的摘要给出的也是这个数字。
DeepMind自己的测试还表明,计算最优并不等于最好。博客文章指出,谷歌的PaLM有5400亿个参数、7680亿个词元,用的算力约为Chinchilla的五倍,在一系列任务上胜过了它。作者的方法预测,在PaLM的预算下,最优的选择本应是一个1400亿参数、在3万亿个词元上训练的模型。
作者列出了自己的局限。他们只有Chinchilla和Gopher两次可比的大规模训练,中间大小的一次也没有。他们假定前沿是幂律,同时在高算力处观察到一些弯曲,他们说这表明最大模型的最优大小可能仍被高估。每次训练对数据都不足一遍。
较小的模型造好之后省下什么
Chinchilla的摘要还补充了第二个好处:因为它更小,微调和推理(训练之后回答用户的工作)所需的算力大幅减少。一个受欢迎的模型被查询的次数远多于被训练的次数,所以它的运行成本会在实验室的账单上累积起来,而较小的模型也正是能装进手机的那一类。
Meta的Llama 3论文说明了各实验室如何利用这一点。它的团队拟合了自己的缩放定律,做法见我们的训练解读,并说它4050亿参数的旗舰模型,对其预算而言大小大致是计算最优的。Meta接着补充说,它把较小的模型训练得比计算最优久得多,在相同的推理预算下,结果比计算最优的模型表现更好。Epoch AI对复现工作的摘要也表达了同样的大意:要把推理成本降到最低,通常更好的做法是用一个较小的模型,训练得比计算最优的量更久,至少就预训练算力而言是这样。所以“计算最优”回答的只是一个关于训练账单的问题。
DeepSeek 2024年1月对数据的核对
DeepSeek-AI 2024年1月5日的论文,起点是前两篇论文之间的分歧,它说两者得出了不同的结论,让人对这些定律的适用范围产生怀疑。它用IsoFLOP方法重新拟合了曲线,并把参数数量换成了每个词元的非嵌入FLOPs(衡量每个词元耗费算力的指标),作为模型大小的度量。
它的表4给出了三个数据集上的模型大小指数。OpenAI那一行,即卡普兰的数字,是0.73;在DeepMind的MassiveText上是0.49;在DeepSeek的早期数据上是0.450,在它当前的数据上是0.524,在重新拟合的OpenWebText2上是0.578。论文的解读是,数据越好,额外算力中就应有越多用于更大的模型,质量改变了分配的比例。这是DeepSeek在自己的数据集上得出的发现。该公司说,拟合出的定律预测了它的70亿和670亿参数模型的表现,两者都是在2万亿个词元上训练的,算下来较大的那个约为每个参数30个词元。
一次复现尝试及其发现
2024年4月,追踪AI趋势的研究团体Epoch AI的塔梅·贝西罗格卢(Tamay Besiroglu)、埃格·埃尔迪尔(Ege Erdil)、马修·巴尼特(Matthew Barnett)和乔什·游(Josh You)发布了一次尝试,想复现DeepMind的第三种方法,即拟合公式。他们根据论文里的图重建了部分数据,并拟合同样的公式。
他们报告说,已发表的参数估计与这批重建数据拟合得很差。他们报告说,已发表的置信区间窄得不可信,窄到按他们摘要的说法,需要超过60万次实验,而DeepMind可能做了不到500次。他们还报告说,按已发表的公式推算,约为每个参数70个词元,这与DeepMind自己的几种方法不符,也与训练Chinchilla时用的每个参数20个词元不符。他们重新拟合的结果约为20,与论文的另外两种方法一致。他们把这一差异归因于优化器在收敛之前就停了,以及已发表数字的舍入。
这让这一发现比一个标题所暗示的要窄。一次复现尝试发现了第三种方法已发表数字中的问题,并发现它的同比例缩放结果与前两种一致。这是一份建立在重建数据之上的外部预印本,不是定论,Epoch说,早先依赖已发表拟合结果的工作可能需要修订。
2026年的报告怎么说,以及Sarvam的例子
2026年2月3日发布的《2026年国际AI安全报告》由约书亚·本吉奥(Yoshua Bengio)领衔,得到30多个国家和国际组织的支持,它把缩放定律描述为模型大小、算力与性能之间可预测的关系,这些关系在模型大小跨越六个数量级的范围内一直成立。它还说,这些是从观察到的行为中推断出来的经验规律,在超出迄今所见的算力或数据之后可能失效,而自2025年1月以来,能力的提升越来越多地来自后训练和使用时的额外算力,而不仅是模型大小。
Sarvam AI 2026年3月6日的文章提供了一个当下的印度数据点。它报告说,Sarvam 30B在16万亿个词元上训练,Sarvam 105B在12万亿个词元上训练,用的都是IndiaAI Mission的算力(见我们关于该使命的GPU和模型的报道)。直接相除,30B约为每个参数530个词元,105B约为114个,远高于Chinchilla的20。这一比较有个要注意的地方:两者都是混合专家模型,每个词元只激活一部分参数,文章给出30B的激活参数为24亿。Chinchilla自己的比较是在稠密模型之间进行的,即每个词元用到每一个参数,2022年的论文只是把混合专家设计作为别人的工作来讨论。Sarvam的文章列出了词元数量,没有描述这些数量背后有一个计算最优的计算。
资料来源与延伸阅读
- Kaplan et al., OpenAI and Johns Hopkins University: Scaling Laws for Neural Language Models (arXiv:2001.08361, 23 January 2020)
- Hoffmann et al., DeepMind: Training Compute-Optimal Large Language Models, the Chinchilla paper (arXiv:2203.15556, 29 March 2022)
- Google DeepMind: An empirical analysis of compute-optimal large language model training (blog post, 12 April 2022)
- Besiroglu, Erdil, Barnett and You, Epoch AI: Chinchilla Scaling, a replication attempt (arXiv:2404.10102, April 2024)
- Epoch AI: Chinchilla scaling, a replication attempt (summary page, 17 April 2024)
- DeepSeek-AI: DeepSeek LLM, Scaling Open-Source Language Models with Longtermism (arXiv:2401.02954, 5 January 2024)
- Llama Team, AI @ Meta: The Llama 3 Herd of Models (arXiv:2407.21783, July 2024)
- International AI Safety Report 2026 (published 3 February 2026)
- Sarvam AI: Open-sourcing Sarvam 30B and 105B (6 March 2026)
本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。
喜欢这篇吗?下一篇也别错过。
每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。