Meta用15.6万亿词元和3084万GPU小时训练出Llama 3 405B，OpenAI的人工评分员却更青睐13亿参数的调优模型，而不是1750亿参数的GPT-3

Meta的旗舰模型Llama 3有4050亿个参数（神经网络内部可调节的数字），学习了15.6万亿个词元（词元是只有几个字母长的文本片段）。Llama 3.1模型卡给出，这一个模型在英伟达H100芯片上用了3084万GPU小时，三种规格的整个系列共用了3930万GPU小时。介绍它的论文标注日期为2024年7月23日，称4050亿参数模型最多在16,000块H100上训练。（Meta的论文用Llama 3这个名字指代3.1系列模型，本文也沿用。）

Meta的论文把这项工作分成两个阶段。预训练靠大规模预测下一个词，教网络学会语言。后训练再调整模型，让它遵循指令、符合人类偏好。本文按顺序讲这两个阶段，用的是各实验室在自己的论文和模型卡中印出的数字，并说明每个数字出自哪里。

学习之前，文本先要过滤

原始网页文本里满是重复内容、垃圾信息和杂乱内容，所以每家实验室都要先清洗。OpenAI的GPT-3论文（2020年）从Common Crawl（一个公开的网页存档）的41个月度快照出发，时间跨度为2016年至2019年。过滤前是45太字节的压缩文本，过滤后是570吉字节，约合4000亿个词元。

过滤分两部分。OpenAI训练了一个分类器，用来区分质量较高的参考文本集和原始的Common Crawl，然后优先选用分类器打分更高的文档。它还删除了近似重复的文档，包括不同数据集之间共有的副本。作者补充说，过滤程序中的一个漏洞使它漏掉了与基准测试集的一些重叠内容，而重新训练的成本太高，没有修正。

Llama 3的流程更长。论文介绍的做法包括：剔除含有大量个人信息或成人内容的网站，删除重复的行，统计“脏话”出现次数以识别黑名单漏掉的成人网站，并同时用快速分类器和较慢的基于RoBERTa的分类器给质量打分。一个语言检测器把文档分入176种语言。在这样的规模上复制文本是否合法，目前正在法庭上接受检验，2026年的三项裁决就是例证。Meta称，最终的数据配比大致是50%通用知识、25%数学与推理、17%代码、8%多语言文本。

把文本切分成词元

网络读的不是字母，也不是整词。它读的是词元，即取自固定词表的片段。Sennrich、Haddow和Birch在2015年证明，用一种叫字节对编码的方法把生僻词拆成更小的子词单元，翻译系统就能处理从没见过的词。

2017年的Transformer论文采用了这种方法，英语和德语共用一个约37,000个词元的词表。Llama 3用的是128,000个：10万个来自OpenAI开源的tiktoken分词器，另外2.8万个是为非英语语言加的。Meta报告说，词表变大后，英语的压缩率从每词元3.17个字符升到3.94个，因此同样的训练算力能覆盖更多文本。

预训练是超大规模的下一个词预测

让这件事变得可行的设计是Transformer，出自谷歌和多伦多大学的一个团队，成员包括Ashish Vaswani和Noam Shazeer。它抛弃了较早的逐步递归设计，转而依靠注意力机制，让一段文字里的每个词都能衡量其他每个词的分量。论文中的大模型在8块P100 GPU上训练3.5天后，英语到德语翻译的BLEU分数（一种翻译评分）达到28.4。它的基础模型有6500万个参数，训练了12小时。

预训练随后把这套做法放大。GPT-3有1750亿个参数，上下文窗口为2,048个词元，在微软的一个集群上用V100 GPU训练了3000亿个词元。InstructGPT论文给出它的预训练算力为3,640 petaflop/s-day，这个单位等于8.64 x 10^19次浮点运算。

Llama 3 405B有126层，预训练的运算量为3.8 x 10^25次，Meta称这几乎是最大的Llama 2的50倍。训练开始时每批400万个词元，后来增加到1600万个。在最后阶段，上下文窗口分六步从8,000个词元扩展到128,000个，最后一个叫退火的阶段用了质量更高的数据。

多大的模型该看多少词元

算力预算固定的实验室，要在更大的模型和更多的文本之间做分配。DeepMind在2022年3月发表的Chinchilla论文，在50亿至5000亿个词元上训练了400多个模型，参数量从7000万到160亿以上。它的结论是模型规模和训练词元数应当一起增长，其中一项每翻一倍，另一项也要翻一倍。

DeepMind用Chinchilla做了检验：这是一个700亿参数、训练了1.4万亿词元的模型，算力与它的2800亿参数的Gopher相同，而Gopher只看了3000亿个词元。论文报告说，Chinchilla在大量任务上胜过Gopher和GPT-3，在MMLU基准测试中得分67.5%。

Meta做了自己的拟合。外推到3.8 x 10^25次运算，得出的是4020亿参数、16.55万亿词元的模型，团队最终定为4050亿参数。直接相除，Llama 3 405B约为每个参数38个词元，Chinchilla为20个，GPT-3不到2个。

16,000块芯片会出什么问题

训练是一项同步进行的整体任务，所以一块GPU出故障就可能让全部工作停下。Meta的论文统计，4050亿参数模型预训练的54天里出现了466次作业中断。其中47次是计划内的，419次是计划外的，计划外中断约有78%追溯到已确认或疑似的硬件故障。仅GPU问题就占58.7%。只有三次需要人工干预，团队把有效训练时间保持在90%以上。

模型卡列出了能源账单。按基于地点的核算方式，训练这个系列产生了11,390吨二氧化碳当量，其中8,930吨来自4050亿参数模型。按基于市场的方式，Meta报告为零，因为它用可再生能源抵消了自己的用电量。数据中心用电这个更大的问题，见这篇关于国际能源署和伯克利实验室预测的文章。

后训练把文本预测器变成助手

预训练模型只会续写文本，并不能稳定地回答问题。OpenAI的InstructGPT论文分三步给出了解决办法。合同工写出示范答案，模型用普通的监督学习在这些答案上微调。接着合同工对同一提示下的多个模型回答排序，并训练一个奖励模型来预测他们的排序。最后用强化学习调整语言模型，把奖励模型的打分作为奖励。

用到的数据并不多。约有40名合同工参与项目，三个数据集分别含约13,000、33,000和31,000个提示。奖励模型有60亿个参数。论文给出的算力是：监督步骤4.9 petaflop/s-day，完整的1750亿参数强化学习运行为60，而GPT-3预训练为3,640。

在OpenAI自己的提示上，评分员更喜欢13亿参数的InstructGPT的输出，而不是1750亿参数的GPT-3。满规模的InstructGPT有85%的时候胜过GPT-3，误差上下约3个百分点。在TruthfulQA上，它给出真实且有信息量的回答的频率大约是后者的两倍。在总结给定文本这类封闭领域任务中，编造内容从41%降到21%，在要求模型保持尊重时，有毒输出少了约25%。论文还报告了“对齐税”，即在SQuAD和DROP等基准上出现的小幅下降，混入预训练更新后基本消除了这种下降。

Llama 3沿用同一思路，只是最后一步不同。Meta用人类偏好数据训练了奖励模型，在示例上做了微调，用奖励模型从多个采样回答中挑出最好的，然后应用直接偏好优化（DPO），共进行六轮。论文说Meta试过InstructGPT使用的PPO算法，发现DPO在大规模下所需算力更少。模型卡把这一阶段概括为监督微调加基于人类反馈的强化学习。它的表格显示，Llama 3.1 405B在MMLU基准上后训练前得分85.2，后训练后为87.3。

安全测试与模型卡

Meta在安全调优之后衡量两项指标。违规率统计违反安全政策的回答，误拒率统计被模型错误拒绝的无害请求。论文把两者当作一对来看，因为什么都拒绝的模型，违规率是完美的。红队会有意攻击模型，成员包括网络安全、对抗式机器学习和负责任AI方面的专家，还有多语言专家。Meta还发布了Llama Guard 3，这是一个单独的模型，用来筛查输入和输出。

随模型发布的摘要文件就是模型卡。这种格式由Margaret Mitchell及其同事在2018年提出，用来说明模型的预期用途，以及它在不同群体中的表现。Llama 3.1的模型卡给出约15万亿个训练词元、2023年12月的知识截止时间、128,000个词元的上下文、上文提到的GPU小时和排放量，以及Meta排除的用途。

建在印度算力上的印度模型

国家电子政务司2026年2月24日的一份新闻稿称，现有的国家AI基础设施有38,000块GPU，还将再增加20,000块。2026年3月6日，Sarvam AI发布了两个开源模型，称训练完全在印度境内进行，使用的是IndiaAI使命提供的算力。Sarvam报告说，其300亿参数模型用了16万亿词元，每个词元激活24亿个参数，1050亿参数模型用了12万亿词元。它的分词器覆盖印度全部22种列入宪法附表的语言。该计划见IndiaAI使命解读和关于用印度本土语言构建AI的文章。

Sarvam的文章列出了三个预训练阶段，随后是监督微调，再接一个基于异步GRPO系统的强化学习阶段，其奖励结合了可验证的检查和基于评分细则的打分，覆盖数学、编程和工具使用。