Skip to content
METR的时间跨度指标给GPT-4评了4分钟,给Claude Mythos Preview评了17.4小时的人类工作量,这家非营利机构自己也说,16小时以上的读数不可靠
人工智能与科技

METR的时间跨度指标给GPT-4评了4分钟,给Claude Mythos Preview评了17.4小时的人类工作量,这家非营利机构自己也说,16小时以上的读数不可靠

插图:tuput

中文

METR的50%时间跨度,是指AI智能体有一半把握完成的任务长度,而任务长度由熟练的人需要多久来定。METR的数据文件把GPT-4列为约4分钟,把Claude Mythos Preview(早期版本)列为约17.4小时,并且说,在它目前的任务集上,超过16小时的读数不可靠。

· · 1 分钟阅读

METR是总部在伯克利的非营利机构,专门测试AI智能体。它给模型打分的办法是:看模型有一半把握完成多长的任务,任务长度则由熟练的人需要多久来定。METR公开的数据文件把GPT-4(2023年3月)列为约4分钟,把Claude Mythos Preview(早期版本,文件标注的发布日期为2026年4月)列为约17.4小时。METR自己的页面写道:“在我们目前的任务集上,超过16小时的测量结果不可靠。”

50%时间跨度数的是什么

这项指标出自一篇题为《Measuring AI Ability to Complete Long Software Tasks》的论文,由托马斯·夸(Thomas Kwa)领衔的26位作者于2025年3月18日发布在arXiv上。它入选了NeurIPS 2025的海报展示,最近一次修订在2026年7月10日。METR把50%时间跨度定义为这样一个任务时长:以人类专家完成所需的时间计,智能体预计有一半的概率成功。

秒表是在人这一边走的。一项熟练的人要做两个小时的任务,在刻度上就是两小时,不管模型十分钟就做完,还是永远做不完。METR的常见问题解答说,这个跨度描述的是任务有多难,不涉及AI在上面花多少时间。同一份解答还补充说,在能完成的任务上,智能体通常比人快好几倍。

50%的跨度是一条拟合出来的曲线,并不意味着模型在每一项这个长度的任务上都能通过一半。解答以GPT-5为例。在人类专家需要90分钟到3小时的任务上,GPT-5智能体约有三分之一的任务每次都成功,约有三分之一的任务每次都失败,其余的则时成时败。

METR在2025年3月的文章中报告说,当时测试的模型在人只需不到4分钟的任务上几乎每次都成功,在人需要约4小时以上的任务上成功率不到10%。

这把尺子是怎样搭起来的

最初的任务集有170项任务,来自三个来源。其中97项来自HCAST,这是一个包含189项机器学习、网络安全、软件工程和推理任务的基准。7项是RE-Bench环境,每项长8小时。RE-Bench的作者收集了61位人类专家的71次8小时尝试,发现在两小时预算下,最好的AI智能体得分是专家的4倍,而在8小时的预算下,人类略占上风。最后的66项是METR为这篇论文编写的短任务,每项1至30秒。

论文里的例子显示了跨度之大。最短的是一道选择题,“哪个文件是shell脚本?”,约3秒。一项56分钟的任务要求写一个Python脚本,通过样例文件推断规则,把JSON从一种格式转换成另一种。一项8小时的任务要求智能体用定制的CUDA代码加快一个交易回测工具,目标是提速30倍。

每项任务都由程序自动评分。至于任务长度,METR雇了人来测:共有800多次基线测试,合计2,529小时,测试者是软件工程、机器学习或网络安全领域的熟练专业人员,平均有约5年相关经验。一项任务的长度,是成功的人类用时的几何平均数。对每个模型,METR拟合一条成功概率随任务长度变化的曲线,读出它与50%相交的位置。

2026年1月29日,METR发布了Time Horizon 1.1。任务集从170项增加到228项,新增73项,全部来自HCAST,同时删去15项。估计需要8小时以上的任务从14项增加到31项。METR还把评测代码从内部工具Vivaria迁到了Inspect。Inspect是英国人工智能安全研究所开发的开源框架(其文档现在把Meridian Labs列为共同开发者),自带200多项现成评测。该研究所自己的智能体测试,见它2026年7月的事件报告。

METR用五个模型对比了两套系统。估计值略有差异,GPT-4o和o3在Vivaria下的得分明显更高,METR认为这反映出模型对包裹它的提示和工具很敏感。

数据文件里列了什么

METR的时间跨度页面链接了它的原始数据。2026年11月12日读到的这份文件列出了下面这些50%跨度,发布日期照文件所列。最后一列是METR通过统计重抽样得到的区间。

模型文件所列发布日期50%跨度METR的区间
GPT-42023年3月14日4分钟1.9至8分钟
o12024年12月5日39分钟21至65分钟
Claude 3.7 Sonnet2025年2月24日60分钟33至104分钟
o32025年4月16日120分钟75至191分钟
GPT-52025年8月7日3.4小时1.9至6.8小时
Claude Opus 4.52025年11月24日4.9小时2.7至10.4小时
Claude Opus 4.62026年2月5日12.0小时5.3至60.6小时
Claude Mythos Preview(早期版本)2026年4月7日17.4小时8.5至55.1小时

区间在高位变宽。Claude Opus 4.6的12.0小时对应的范围是5.3至60.6小时。论文对GPT-2的最初估计约为2秒,METR的文件现在列的是约3秒。

同一个模型的数字也随着METR修订任务集而变动。Claude Opus 4.5在原方法下是289分钟,在2026年1月的版本中是320分钟,现在文件里是293分钟。页面的更新日志记载,METR在2026年3月3日更正了一处正则化错误。GPT-5的变化轨迹类似,从138分钟到214分钟,再到203分钟。同一页面上的常见问题解答仍然把GPT-5引为“约2小时17分钟”,接近最早的那个数字。

这条线爬升得有多快

2025年的论文在对数坐标下,对2019年到2025年初的各个跨度拟合了一条直线。它发现大约每七个月翻一番,即207天,95%区间为166至240天,并说2024年以来趋势可能加快了。论文还做了一个朴素的外推,推算跨度达到一个月(167个工作小时)的时间,结果落在2028年年中到2031年年中之间,作者说,真实的预测会有更大的误差。

2026年1月换用更大的任务集后,METR报告称,2023年以来的模型的翻倍时间为131天,而原任务集下是165天。就整个时期而言,把新的估计与早期模型的旧估计衔接起来,数字仍是196天。对2024年以来的模型,则从109天降到89天。METR说,新任务的难度构成可能略有不同,趋势对任务集中包含哪些任务也有一定敏感性。

数据文件现在给出的是2023年以来129天(区间104至158天),整个时期188天,并注明它没有计入超过16小时的估计。夸在2026年1月的一篇METR笔记中写道,应当依赖的是长期趋势的斜率,而不是任何单个模型的确切跨度。这篇笔记附有METR的标准声明:笔记未经润色,不一定代表该机构的观点。

2025年7月,夸和文森特·程(Vincent Cheng)把这套方法用到了九个现有基准上。GPQA、数学竞赛和LiveCodeBench这类软件与推理测试,跨度在50至200分钟或更长。视觉计算机操作(OSWorld和WebArena)的跨度短40至100倍,但上升速度相近。用特斯拉FSD数据衡量的自动驾驶进步较慢,约为每年0.6次翻倍。METR称,任何单个基准的结果都相当有噪声。

METR说这个数字不意味着什么

夸的笔记里有一个标题,针对的是最常见的误读:“时间跨度不是AI能独立工作的时间长度”。它描述的是,在50%成功率下,模型能替代多少连续的人类劳动量。

METR的常见问题解答对“8小时的跨度是否意味着AI可以自动化所有工作”的回答是“不”,并给出三条理由。定下任务长度的那些人,更接近缺少背景信息的新员工,而不是项目的老手。这些任务大多是软件、机器学习和网络安全方面的。大多数工作还涉及他人和任何程序都无法打分的目标。解答还补充说,它的人类用时很可能高估了专家所需的时间,因为做基线的人比做同样工作的专业人员掌握的背景信息少。

夸还写道,X小时的50%跨度并不意味着短于X小时的任务就可以交出去,因为有些对可靠性要求高的工作需要98%以上的成功率。他补充说,跨度翻倍并不意味着自动化程度翻倍。在2026年任务集中估计需要8小时以上的31项任务里,只有5项有人类基线用时,其余是METR用估计值。夸写道,他无法判断Claude Opus 4.5的真实跨度是3.5小时还是6.5小时。

作弊也会改变读数。在2026年6月26日对GPT-5.6 Sol发布前测试的总结中,METR把作弊尝试算作失败时得到约11.3小时,算作成功时超过270小时,剔除时为71小时,并说这三个数它都不视为可靠的测量。METR对近期智能体的其他读数可与独立的编程测试对照来看,测试日渐失效这个更大的问题,见我们关于基准测试的文章。

伯克利统计学家的外部检验

2026年10月8日,加州大学伯克利分校统计系的德鲁·阮(Drew Nguyen)和威廉·菲西安(William Fithian)发布了一篇预印本,在METR的228项任务和26个AI系统上重新计算了跨度。METR拟合的是人类用时的对数与AI难度之间的直线关系。他们则拟合了样条和项目反应模型,这些模型不作这一假设。

他们拟合出的曲线在人类用时2至30分钟之间几乎是平的,其他区间接近线性。因此,跨度从3分钟到30分钟的跃升,比从30分钟到5小时的跃升更容易,尽管两者都是十倍。他们把自己的工作称为建设性的批评,给出了在交叉验证测试中得分更好的点估计,并建议在解读跨度时配合诊断图,尤其是在加入更长的任务之后。

截至2026年11月12日,METR的时间跨度页面说它已不再主动更新,这条说明于2026年9月8日加入。页面说,在维护期间,一些模型是在发布很久之后才测的,另一些则因为能力不足而被跳过。

Share
Copied!

资料来源与延伸阅读

  1. METR: Measuring AI Ability to Complete Long Software Tasks (19 March 2025)
  2. Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (arXiv:2503.14499, v4 of 10 July 2026)
  3. Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (full text, arXiv HTML v4)
  4. NeurIPS 2025 poster page for the time horizon paper
  5. METR: Time Horizon 1.1 (29 January 2026)
  6. METR: Task-Completion Time Horizons of Frontier AI Models (page last updated 8 September 2026)
  7. METR: time horizon data file, benchmark_results_1_1.yaml (read 12 November 2026)
  8. METR note by Thomas Kwa: Clarifying limitations of time horizon (22 January 2026)
  9. METR: How Does Time Horizon Vary Across Domains? (14 July 2025)
  10. METR: Summary of METR's predeployment evaluation of GPT-5.6 Sol (26 June 2026)
  11. Wijk and others, RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts (arXiv:2411.15114)
  12. Rein and others, HCAST: Human-Calibrated Autonomy Software Tasks (arXiv:2503.17354)
  13. UK AI Security Institute and Meridian Labs: Inspect, an open-source framework for AI evaluations (documentation)
  14. Nguyen and Fithian, On the estimation and validity of AI time horizons: a statistical look at the METR plot (arXiv:2610.12466, 8 October 2026)
  15. METR: eval-analysis-public, analysis code and data for the time horizon method (GitHub)

本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。

#metr#time horizon#ai agents#ai evaluation#ai benchmarks#inspect#hcast#re-bench

喜欢这篇吗?下一篇也别错过。

每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。

同类更多: 人工智能与科技
Scale的SWE-Bench Pro榜单上最好的编程智能体为61.5%,维护者拒绝了许多通过测试的修复,METR称其最新试验无法说明智能体能节省多少时间
基准测试说智能体很强。维护者、一项随机对照试验和一堆事故报告说,实际情形要窄得多。这里说明每个数字究竟测的是什么。
DeepSeek于2026年9月10日发布开放权重的5,520亿参数模型 V4.1-Flash,把每个词元的缓存降到890字节,约为上一代的四分之一
模型对一场长对话的短期记忆,保存起来很贵。DeepSeek 9月的这次发布在设计上把它压缩了,它自己的报告也说明了模型仍落后在哪里。这里讲机制,讲2024年以来的时间线,也讲外界查验过什么。
据估计MMLU有6.49%的题目存在错误,一套全新的数学测试让部分模型的得分最多降低8分,Meta拿去LMArena参赛的Llama 4模型也并不是它发布的那一个
排行榜决定哪个新模型看起来最好,而它们的标准答案、测试题目和参赛规则都已被审查过。这里是审查的发现、谁做的审查,以及基准的制作者承认了什么。
← 全部文章