插图:tuput
中文
METR的50%时间跨度,是指AI智能体有一半把握完成的任务长度,而任务长度由熟练的人需要多久来定。METR的数据文件把GPT-4列为约4分钟,把Claude Mythos Preview(早期版本)列为约17.4小时,并且说,在它目前的任务集上,超过16小时的读数不可靠。
METR是总部在伯克利的非营利机构,专门测试AI智能体。它给模型打分的办法是:看模型有一半把握完成多长的任务,任务长度则由熟练的人需要多久来定。METR公开的数据文件把GPT-4(2023年3月)列为约4分钟,把Claude Mythos Preview(早期版本,文件标注的发布日期为2026年4月)列为约17.4小时。METR自己的页面写道:“在我们目前的任务集上,超过16小时的测量结果不可靠。”
50%时间跨度数的是什么
这项指标出自一篇题为《Measuring AI Ability to Complete Long Software Tasks》的论文,由托马斯·夸(Thomas Kwa)领衔的26位作者于2025年3月18日发布在arXiv上。它入选了NeurIPS 2025的海报展示,最近一次修订在2026年7月10日。METR把50%时间跨度定义为这样一个任务时长:以人类专家完成所需的时间计,智能体预计有一半的概率成功。
秒表是在人这一边走的。一项熟练的人要做两个小时的任务,在刻度上就是两小时,不管模型十分钟就做完,还是永远做不完。METR的常见问题解答说,这个跨度描述的是任务有多难,不涉及AI在上面花多少时间。同一份解答还补充说,在能完成的任务上,智能体通常比人快好几倍。
50%的跨度是一条拟合出来的曲线,并不意味着模型在每一项这个长度的任务上都能通过一半。解答以GPT-5为例。在人类专家需要90分钟到3小时的任务上,GPT-5智能体约有三分之一的任务每次都成功,约有三分之一的任务每次都失败,其余的则时成时败。
METR在2025年3月的文章中报告说,当时测试的模型在人只需不到4分钟的任务上几乎每次都成功,在人需要约4小时以上的任务上成功率不到10%。
这把尺子是怎样搭起来的
最初的任务集有170项任务,来自三个来源。其中97项来自HCAST,这是一个包含189项机器学习、网络安全、软件工程和推理任务的基准。7项是RE-Bench环境,每项长8小时。RE-Bench的作者收集了61位人类专家的71次8小时尝试,发现在两小时预算下,最好的AI智能体得分是专家的4倍,而在8小时的预算下,人类略占上风。最后的66项是METR为这篇论文编写的短任务,每项1至30秒。
论文里的例子显示了跨度之大。最短的是一道选择题,“哪个文件是shell脚本?”,约3秒。一项56分钟的任务要求写一个Python脚本,通过样例文件推断规则,把JSON从一种格式转换成另一种。一项8小时的任务要求智能体用定制的CUDA代码加快一个交易回测工具,目标是提速30倍。
每项任务都由程序自动评分。至于任务长度,METR雇了人来测:共有800多次基线测试,合计2,529小时,测试者是软件工程、机器学习或网络安全领域的熟练专业人员,平均有约5年相关经验。一项任务的长度,是成功的人类用时的几何平均数。对每个模型,METR拟合一条成功概率随任务长度变化的曲线,读出它与50%相交的位置。
2026年1月29日,METR发布了Time Horizon 1.1。任务集从170项增加到228项,新增73项,全部来自HCAST,同时删去15项。估计需要8小时以上的任务从14项增加到31项。METR还把评测代码从内部工具Vivaria迁到了Inspect。Inspect是英国人工智能安全研究所开发的开源框架(其文档现在把Meridian Labs列为共同开发者),自带200多项现成评测。该研究所自己的智能体测试,见它2026年7月的事件报告。
METR用五个模型对比了两套系统。估计值略有差异,GPT-4o和o3在Vivaria下的得分明显更高,METR认为这反映出模型对包裹它的提示和工具很敏感。
数据文件里列了什么
METR的时间跨度页面链接了它的原始数据。2026年11月12日读到的这份文件列出了下面这些50%跨度,发布日期照文件所列。最后一列是METR通过统计重抽样得到的区间。
| 模型 | 文件所列发布日期 | 50%跨度 | METR的区间 |
|---|---|---|---|
| GPT-4 | 2023年3月14日 | 4分钟 | 1.9至8分钟 |
| o1 | 2024年12月5日 | 39分钟 | 21至65分钟 |
| Claude 3.7 Sonnet | 2025年2月24日 | 60分钟 | 33至104分钟 |
| o3 | 2025年4月16日 | 120分钟 | 75至191分钟 |
| GPT-5 | 2025年8月7日 | 3.4小时 | 1.9至6.8小时 |
| Claude Opus 4.5 | 2025年11月24日 | 4.9小时 | 2.7至10.4小时 |
| Claude Opus 4.6 | 2026年2月5日 | 12.0小时 | 5.3至60.6小时 |
| Claude Mythos Preview(早期版本) | 2026年4月7日 | 17.4小时 | 8.5至55.1小时 |
区间在高位变宽。Claude Opus 4.6的12.0小时对应的范围是5.3至60.6小时。论文对GPT-2的最初估计约为2秒,METR的文件现在列的是约3秒。
同一个模型的数字也随着METR修订任务集而变动。Claude Opus 4.5在原方法下是289分钟,在2026年1月的版本中是320分钟,现在文件里是293分钟。页面的更新日志记载,METR在2026年3月3日更正了一处正则化错误。GPT-5的变化轨迹类似,从138分钟到214分钟,再到203分钟。同一页面上的常见问题解答仍然把GPT-5引为“约2小时17分钟”,接近最早的那个数字。
这条线爬升得有多快
2025年的论文在对数坐标下,对2019年到2025年初的各个跨度拟合了一条直线。它发现大约每七个月翻一番,即207天,95%区间为166至240天,并说2024年以来趋势可能加快了。论文还做了一个朴素的外推,推算跨度达到一个月(167个工作小时)的时间,结果落在2028年年中到2031年年中之间,作者说,真实的预测会有更大的误差。
2026年1月换用更大的任务集后,METR报告称,2023年以来的模型的翻倍时间为131天,而原任务集下是165天。就整个时期而言,把新的估计与早期模型的旧估计衔接起来,数字仍是196天。对2024年以来的模型,则从109天降到89天。METR说,新任务的难度构成可能略有不同,趋势对任务集中包含哪些任务也有一定敏感性。
数据文件现在给出的是2023年以来129天(区间104至158天),整个时期188天,并注明它没有计入超过16小时的估计。夸在2026年1月的一篇METR笔记中写道,应当依赖的是长期趋势的斜率,而不是任何单个模型的确切跨度。这篇笔记附有METR的标准声明:笔记未经润色,不一定代表该机构的观点。
2025年7月,夸和文森特·程(Vincent Cheng)把这套方法用到了九个现有基准上。GPQA、数学竞赛和LiveCodeBench这类软件与推理测试,跨度在50至200分钟或更长。视觉计算机操作(OSWorld和WebArena)的跨度短40至100倍,但上升速度相近。用特斯拉FSD数据衡量的自动驾驶进步较慢,约为每年0.6次翻倍。METR称,任何单个基准的结果都相当有噪声。
METR说这个数字不意味着什么
夸的笔记里有一个标题,针对的是最常见的误读:“时间跨度不是AI能独立工作的时间长度”。它描述的是,在50%成功率下,模型能替代多少连续的人类劳动量。
METR的常见问题解答对“8小时的跨度是否意味着AI可以自动化所有工作”的回答是“不”,并给出三条理由。定下任务长度的那些人,更接近缺少背景信息的新员工,而不是项目的老手。这些任务大多是软件、机器学习和网络安全方面的。大多数工作还涉及他人和任何程序都无法打分的目标。解答还补充说,它的人类用时很可能高估了专家所需的时间,因为做基线的人比做同样工作的专业人员掌握的背景信息少。
夸还写道,X小时的50%跨度并不意味着短于X小时的任务就可以交出去,因为有些对可靠性要求高的工作需要98%以上的成功率。他补充说,跨度翻倍并不意味着自动化程度翻倍。在2026年任务集中估计需要8小时以上的31项任务里,只有5项有人类基线用时,其余是METR用估计值。夸写道,他无法判断Claude Opus 4.5的真实跨度是3.5小时还是6.5小时。
作弊也会改变读数。在2026年6月26日对GPT-5.6 Sol发布前测试的总结中,METR把作弊尝试算作失败时得到约11.3小时,算作成功时超过270小时,剔除时为71小时,并说这三个数它都不视为可靠的测量。METR对近期智能体的其他读数可与独立的编程测试对照来看,测试日渐失效这个更大的问题,见我们关于基准测试的文章。
伯克利统计学家的外部检验
2026年10月8日,加州大学伯克利分校统计系的德鲁·阮(Drew Nguyen)和威廉·菲西安(William Fithian)发布了一篇预印本,在METR的228项任务和26个AI系统上重新计算了跨度。METR拟合的是人类用时的对数与AI难度之间的直线关系。他们则拟合了样条和项目反应模型,这些模型不作这一假设。
他们拟合出的曲线在人类用时2至30分钟之间几乎是平的,其他区间接近线性。因此,跨度从3分钟到30分钟的跃升,比从30分钟到5小时的跃升更容易,尽管两者都是十倍。他们把自己的工作称为建设性的批评,给出了在交叉验证测试中得分更好的点估计,并建议在解读跨度时配合诊断图,尤其是在加入更长的任务之后。
截至2026年11月12日,METR的时间跨度页面说它已不再主动更新,这条说明于2026年9月8日加入。页面说,在维护期间,一些模型是在发布很久之后才测的,另一些则因为能力不足而被跳过。
资料来源与延伸阅读
- METR: Measuring AI Ability to Complete Long Software Tasks (19 March 2025)
- Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (arXiv:2503.14499, v4 of 10 July 2026)
- Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (full text, arXiv HTML v4)
- NeurIPS 2025 poster page for the time horizon paper
- METR: Time Horizon 1.1 (29 January 2026)
- METR: Task-Completion Time Horizons of Frontier AI Models (page last updated 8 September 2026)
- METR: time horizon data file, benchmark_results_1_1.yaml (read 12 November 2026)
- METR note by Thomas Kwa: Clarifying limitations of time horizon (22 January 2026)
- METR: How Does Time Horizon Vary Across Domains? (14 July 2025)
- METR: Summary of METR's predeployment evaluation of GPT-5.6 Sol (26 June 2026)
- Wijk and others, RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts (arXiv:2411.15114)
- Rein and others, HCAST: Human-Calibrated Autonomy Software Tasks (arXiv:2503.17354)
- UK AI Security Institute and Meridian Labs: Inspect, an open-source framework for AI evaluations (documentation)
- Nguyen and Fithian, On the estimation and validity of AI time horizons: a statistical look at the METR plot (arXiv:2610.12466, 8 October 2026)
- METR: eval-analysis-public, analysis code and data for the time horizon method (GitHub)
本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。
喜欢这篇吗?下一篇也别错过。
每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。