Skip to content
DeepSeek-R1在一项美国数学竞赛中的得分,在只奖励正确答案的训练中从15.6%升到77.9%,《自然》把审稿人的意见和论文一起发表
人工智能与科技

DeepSeek-R1在一项美国数学竞赛中的得分,在只奖励正确答案的训练中从15.6%升到77.9%,《自然》把审稿人的意见和论文一起发表

插图:tuput

中文

DeepSeek的R1论文于2025年9月17日发表在《自然》上(第645卷,第633至638页)。论文报告说,只奖励最终答案正确、没有人工写好的解题示例可供模仿,语言模型也能学会写出长而自我检查的解答。期刊还同时发表了八位审稿人的报告和作者的答复。

· · 1 分钟阅读

2025年9月17日,《自然》发表了杭州公司DeepSeek的推理模型DeepSeek-R1背后的论文,刊于第645卷,第633至638页。论文的核心结果是:只奖励最终答案正确,没有人工写好的解题示例可供模仿,语言模型也能学会写出长而自我检查的解答。2024年美国数学邀请赛(AIME,一项面向高中生的美国数学竞赛,答案都是单个数字)上,模型的第一个版本R1-Zero,据论文图1,在训练过程中平均正确率从15.6%升到77.9%。对多个采样答案做多数表决,又把它提高到86.7%。

《自然》把审稿人的报告和作者的答复与论文一并发表,补充材料则给出了训练的账单:按作者假设的GPU租用价格,是294,000美元。下面讲这样的模型是怎样训练的,每个想法从哪里来,以及同行评审改变了什么。

论文主张什么

R1-Zero从DeepSeek-V3 Base出发,这是一个已经用网页文本预训练过的模型(预训练阶段在我们的训练说明文章中讲过)。作者随后应用了强化学习,这是一种试错的方法:给模型自己的答案打分,把模型朝得分高的答案推动。他们跳过了通常的监督微调步骤,即由人给出解题示例,让模型模仿。奖励只取决于最终答案是否与已知的正确答案一致。对形式的唯一要求,是一个模板,要求模型把推理放在思考标签之间,把答案放在答案标签之间。

论文说,随着训练推进,回答变得更长,并开始出现检查、反思和探索其他思路,尽管作者并没有明确教模型怎样推理。R1-Zero也有毛病:文字难读,有时在一个答案里混用英文和中文。于是团队分阶段构建了DeepSeek-R1。它先用数千条对话风格的冷启动示例,加上强化学习,然后做拒绝采样(只保留模型好的输出)并进行第二轮监督微调,最后是以有用性和无害性为目标的第二个强化阶段。

DeepSeek的发布说明把这个模型的日期定为2025年1月20日,并说代码和模型采用MIT许可证,同时还发布了六个较小的蒸馏模型。在模型卡上,DeepSeek列出R1在AIME 2024上为79.8%,而它所基于的DeepSeek-V3为39.2%,做法是每题采样64个答案,温度为0.6。这个模型的后继者,见我们对中国开放权重模型的考察。我们在2026年11月12日打开Hugging Face上这个模型的页面时,它在整个生命周期内的下载量约为5150万次。

论文所依托的三个更早的想法

模型把步骤写出来会做得更好,这个想法最先来自提示。谷歌的Jason Wei等人在2022年1月28日发布了思维链论文。他们报告,一个5400亿参数的模型,只给看八个解题示例,就在GSM8K(一组小学数学应用题)上达到了当时最先进的精度。2022年5月24日,Takeshi Kojima(Takeshi Kojima)等人表明,加上“Let’s think step by step”(一步一步地想)这几个词,一个大模型在MultiArith上的精度从17.7%升到78.7%,在GSM8K上从10.4%升到40.7%,而且完全不给示例。

第三条线索是对步骤本身的反馈。在2023年5月31日发布的一篇论文中,OpenAI的研究人员比较了只奖励最终结果和奖励每个中间步骤。在MATH数据集上,步骤级反馈胜出,最好的模型解出了一个有代表性子集的78%,团队还发布了PRM800K,即人工写下的800,000条步骤级标注。

这些做法都需要人:为示例,或为每一步的标注。《自然》论文的引言认为,依赖人工标注的推理过程会拖慢规模化,并使模型的上限停在它所见示例的质量。它的检验是,一个基础模型能否仅凭奖励找到好的推理策略。

为什么数学答案可以由机器打分

作者在推理任务上用了两种基于规则的奖励。准确性奖励检查答案:数学题要求最终答案按固定格式给出,比如放在方框里,这样程序就能与标准答案对比;代码则由编译器按预先设定的测试用例运行。格式奖励检查推理是否放在标签之内。两者以相同的权重相加。

他们选择在推理任务上不使用习得的奖励模型,也就是另一个给答案打分的神经网络。论文说,这类模型在大规模训练中容易遭遇奖励作弊,也就是模型学会的是迎合打分者而不是解出问题,而且重新训练它们还要额外的算力。

学习方法是组相对策略优化(Group Relative Policy Optimization),简称GRPO。对每个问题,模型写出一组答案,R1-Zero的训练中是16个。每个答案的奖励,与这一组的平均值和离散程度作比较,高于平均的答案被提高出现的可能。《自然》论文的图注说,这直接由这一组的得分来估计优势,不用旧的PPO方法中那个单独的价值函数。DeepSeek团队在2024年2月5日的DeepSeekMath论文中提出了GRPO,其中一个70亿参数的模型在MATH基准上达到51.7%;《自然》论文引用了那项工作,并在方法部分描述了这一方法。

R1-Zero训练了10,400步。每一步用32个问题,每题16个答案,共512个答案,长度上限为32,768个词元,在第8,200步之后提高到65,536。

训练曲线显示了什么

论文报告说,平均回答长度在训练中稳步上升,模型开始写出数百到数千个词元,同时检查自己的工作。它的扩展数据图统计了输出中“wait”(等一下)、“mistake”(错误)和“verify”(验证)这类反思词。“wait”一词在早期几乎没有,在第4,000步到第7,000步之间偶尔出现,第8,000步之后急剧增加。作者把其中一个中间例子称为“顿悟时刻”(aha moment)。

审稿人对这种解读很谨慎。一位写道,另一个团队已在小规模上复现了这个效应,并补充说,另有一篇论文提示,顿悟时刻可能主要反映基础模型的质量。另一位指出,所有评测都只给最终答案打分,不评中间的文字,所以写出的步骤是否连贯并没有被衡量。因此本文把它们描述为模型写出的中间步骤,不声称模型在思考。

训练账单包括什么

补充材料列出:R1-Zero为101,000个H800 GPU小时,创建微调数据5,000小时,R1为41,000小时,合计147,000小时。按假设的每GPU小时2美元的租价,共计294,000美元。训练用了64乘8块H800 GPU,即512块芯片,R1-Zero约198小时,R1约80小时。作者说,他们先在A100 GPU上用一个300亿参数的模型做了准备。

这个数字只涵盖推理阶段。为《自然》报道的《科学美国人》指出,它是在DeepSeek为基础模型花费的约600万美元之外另加的。补充材料把DeepSeek-V3描述为有6710亿参数,每个词元激活其中370亿,用14.8万亿个词元训练。

审稿人问了什么,改了什么

稿件于2025年2月14日收到,7月17日接受,9月17日发表。《自然》的社论说,有八位专家审稿,报告和答复随论文一起发表。Hugging Face的刘易斯·滕斯塔尔(Lewis Tunstall)是具名的审稿人之一,他对《自然》说,这种做法是“非常受欢迎的先例”。俄亥俄州立大学的Huan Sun(Huan Sun)说:“其他公司也应该这样做。”

有几处修改是有记录的。一位审稿人敦促作者少用人类的说法去描述模型的中间文字。作者删去了这些措辞,并在答复中承认,类似人类的表达方式可能让用户过分相信输出,并把这一风险加入了修订后的文本。审稿人还问到污染,也就是测试题泄露进训练数据(对AI基准的审查说明了为什么要谨慎看待厂商给出的数字)。据《自然》的社论,DeepSeek提供了防护措施的细节,并增加了在模型发布之后才公布的基准上的评测。补充材料报告,AIME 2025上是75%,OpenAI的o1-1217是80%;2024年AMC 12竞赛上是150分中的143.7分,o1-1217是141.0分,以上都是DeepSeek自己的测试。补充材料也承认,用来防污染的n元组过滤抓不到改写过的测试题,所以2024年之前发布的基准仍可能受影响。

第三处修改是增加了安全部分。《自然》的社论说,审稿人指出缺少安全测试的信息,论文现在把R1与对手模型做了比较;结论是R1固有的安全水平为中等,与2024年5月13日的GPT-4o相当。关于OpenAI数据的问题,《科学美国人》报道,DeepSeek告诉审稿人,R1不是通过复制OpenAI模型生成的推理示例学会的,同时承认其基础模型是用网页训练的,而网页里会含有AI生成的文本。Huan Sun称这一反驳“和我们在任何出版物中能看到的一样有说服力”;滕斯塔尔说他不能完全确定,但其他实验室的复现尝试表明,这套配方不用它也行得通。训练数据本身没有公开,一位审稿人把这一点标为可复现性方面的限制。

作者自己列出的未解决问题

论文自己的局限部分列出了几项。R1的结构化输出比现有模型弱,也不能使用搜索引擎或计算器这类工具。它有时会在简单的问题上花很多词元。它是针对中文和英文调优的,即使用其他语言提问,也可能用英文推理。少样本提示会使它变差,所以作者建议直接描述问题。由于软件工程测试运行时间长,大规模强化学习在这方面几乎没有应用,R1在这些基准上相对DeepSeek-V3没有明显提升。

这种方法需要一个可靠的验证器。对于写作这类没有规则能给答案打分的任务,作者使用了人工标注的数据,强化步数只有几百步。针对一般数据的基于模型的奖励,只用在第二阶段1,700步中的最后400步,因为暴露得更久会导致奖励作弊。

Share
Copied!

资料来源与延伸阅读

  1. Guo and others (DeepSeek-AI): DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning, Nature 645, 633 to 638 (17 September 2025)
  2. Nature: Supplementary Information for the DeepSeek-R1 paper (cost table, evaluation settings, decontamination, fresh test sets)
  3. Nature: Peer Review File for the DeepSeek-R1 paper (referee reports and author responses)
  4. arXiv: DeepSeek-R1, Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (arXiv:2501.12948, submitted 22 January 2025, revised 4 January 2026)
  5. Ippolito and Zhang, Nature News and Views: AI can learn to show its workings through trial and error (17 September 2025)
  6. Nature editorial: Bring us your LLMs, why peer review is good for AI models (17 September 2025)
  7. Gibney, Scientific American (with Nature): Secrets of DeepSeek AI model revealed in landmark paper (17 September 2025)
  8. Wei and others (Google): Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (arXiv:2201.11903, 28 January 2022)
  9. Kojima and others: Large Language Models are Zero-Shot Reasoners (arXiv:2205.11916, 24 May 2022)
  10. Lightman and others (OpenAI): Let's Verify Step by Step (arXiv:2305.20050, 31 May 2023)
  11. Shao and others (DeepSeek): DeepSeekMath, Pushing the Limits of Mathematical Reasoning in Open Language Models (arXiv:2402.03300, 5 February 2024)
  12. DeepSeek: DeepSeek-R1 model card on Hugging Face (MIT licence, evaluation table)
  13. DeepSeek API Docs: DeepSeek-R1 Release (20 January 2025)

本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。

#reasoning models#deepseek-r1#chain of thought#reinforcement learning#grpo#peer review#nature#ai training

喜欢这篇吗?下一篇也别错过。

每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。

同类更多: 人工智能与科技
谷歌DeepMind的AI气旋模型在《自然》论文中五天路径平均误差230公里,欧洲集合预报为370公里,而作者自己称快速增强仍是未解难题
模型是在从未见过的风暴上打分的,而实时检验只覆盖大西洋和东太平洋。据世界气象组织统计,1970至2019年间孟加拉国、缅甸和印度占了气旋死亡人数的84%,而北印度洋在补充材料里只以一幅带标签的地图面板出现。
八位谷歌作者于2017年6月12日发布Transformer论文,其大模型在八块GPU上训练3.5天后,英德翻译得分达到28.4 BLEU
这篇文章带读者走一遍今天聊天机器人背后的设计,用的是论文自己的表格,以及谷歌自己举的“一个词必须去看河”的例子。文章也讲到2017年设计中后来的模型保留、改动或舍弃的部分。
Bharat-VISTAAR 于2026年2月17日在斋浦尔推出,农民打电话拨155261就能向AI顾问提问,它调用ICAR、IMD、Agmarknet和AgriStack的数据
拨打一次155261,就能接通一位AI顾问,它的资料来自ICAR的种植规程、天气和曼迪数据。推出时的新闻稿、语言计划和迄今公布的使用数字,连同日期和来源一并列出。
← 全部文章