Scale的SWE-Bench Pro榜单上最好的编程智能体为61.5%，维护者拒绝了许多通过测试的修复，METR称其最新试验无法说明智能体能节省多少时间

Scale AI公开的SWE-Bench Pro排行榜上，最高分是61.5%，由Meta的Muse Spark 1.1取得，也就是说，排名第一的模型仍有超过三分之一的任务没有解决。METR和Epoch AI是两个负责测试和评审AI系统的机构，它们2026年的独立研究给出的画面好坏参半：智能体能完成一些人类专家要花大半个工作日的软件任务；通过自动化测试的补丁，常常被维护代码的人拒绝；METR对在职开发者做的最新试验，则没能得出一个可靠的速度数字。

哪一个编程基准还算数

SWE-bench Verified是一组500个缺陷修复题，取自12个开源代码库，Epoch AI在2026年9月3日的一份评审中把它评为“有缺陷”（Flawed）。Epoch说，它有相当把握认为，超过五分之一的题目存在评分问题。每道题和每个解答都是公开的，所以模型在训练中可能见过它们。

Epoch的评审还介绍了OpenAI在2026年2月23日做的一次审计。OpenAI检查了27.6%的题目，发现其中59.4%的测试有缺陷，会拒绝正确的答案。这就给全集定下了16.4%的下限。

Scale AI的SWE-Bench Pro是为了更难而设计的，它的作者称之为抗污染的测试平台。它共有1,865道题，来自41个代码库。公开集有731道，取自采用强copyleft许可证的开源项目。另有276道来自18个私有的初创公司代码库，Scale不公布这些题，还有858道留作保留集。

公开排行榜列出Muse Spark 1.1为61.5%（上下浮动3.1个百分点），GPT-5.4为59.1%，Anthropic的Claude Opus 4.6为51.9%。页面脚注说，三者都是用mini-swe-agent测试框架运行的。私有集的得分更低。在Scale的页面上，Claude Opus 4.1在其上从22.7%降到17.8%，GPT-5从23.1%降到14.9%，两者都是较老的模型。

17小时这个数字测的是什么

METR把一个模型的50%时间跨度定义为：以具备相应专业能力的人类专业人士完成所需的时间来衡量，模型能有一半的次数完成的任务长度。它在2026年1月发布的Time Horizon 1.1测试集，包含228道软件和推理任务。在人类需要八小时或更久的31道任务中，只有5道的时间是用人类基线测出的，其余的用的是估计时间。

Anthropic的Claude Mythos Preview于2026年5月8日加入METR的页面，其50%时间跨度为1,045分钟，即17.4小时，范围是8.5至55小时。METR自己的页面说，用现有测试集，超过16小时的测量并不可靠。在80%成功率下，同一模型的估计是186分钟，约3.1小时。

对于OpenAI的GPT-5.6 Sol，METR报告了三个数字：把作弊企图算作失败时约为11.3小时（范围5至40），算作成功时超过270小时，剔除不计时为71小时。METR说，它认为这三个数字没有哪一个是可靠的测量，并且该模型被检测到的作弊率，高于METR在其标准测试框架上测过的任何公开模型。

关于趋势，METR的Time Horizon 1.1文章给出的翻倍时间，2023年以来的模型是130.8天（范围107至161），2024年以来的模型是88.6天，而整个历史是196.5天。它2025年3月的第一篇论文给出的是约七个月。METR提醒说，这一趋势对测试集中包含哪些任务有些敏感。它2025年3月的文章补充说，把基准上的进步转化为现实中的用处，可能是有难度的。

电脑操作智能体只完成了五分之一的长流程

OSWorld 2.0于2026年6月28日发布在arXiv上，7月13日修订，测试的是智能体在真实电脑任务上的表现。它有108个工作流程，熟练的人完成每项任务的用时中位数约为1.6小时。一项任务只有在500步以内完整完成才算完成。

在作者自己的运行中，截至7月的修订版，最好的是开启最大思考的Claude Opus 4.8，它完整完成了20.6%的任务，部分得分为54.8%。GPT-5.5在13%上下就停滞了。Claude Opus 4.7平均每项任务调用工具318次，原版OSWorld是约30次。

通过测试不等于被合并

2026年3月，METR请scikit-learn、Sphinx和pytest（SWE-bench Verified十二个代码库中的三个）的四位维护者，审查296个由AI写的补丁。每个补丁都已经通过了基准的自动评分器。审查者不知道哪些补丁出自AI。维护者还审查了47个人类原本写的补丁，其中约68%被合并，这就是基线。

按这个基线调整之后，维护者的通过率比评分器的得分低约24.2个百分点。未经调整时，差距是34.9个百分点。被拒的原因有代码质量、破坏其他代码，以及根本没有解决问题。测试中最新的模型是Claude Sonnet 4.5，每个模型只有一次尝试，不能修改，METR说它并不主张这是一个根本性的限制。

没能做完的生产力试验

METR 2025年的随机对照试验，给16名经验丰富的开源开发者分配了246个真实的议题，并随机指定每一个是允许使用AI还是不允许使用AI。使用AI时，任务多花19%的时间（区间为2%至39%）。试验之前，开发者预期AI会让他们快24%，试验之后，他们仍然认为AI让他们快了20%。METR现在已把该页面标为过时。

后续试验始于2025年8月，有57名开发者、143个代码库、800多项任务。METR在2026年2月24日的更新中报告，10位回归的开发者，任务耗时少18%（区间为少38%至多9%），47位新开发者少4%（区间为少15%至多9%）。METR随后说，这些数据给出的是“不可靠的信号”。更多开发者拒绝在无法使用AI的情况下参加，调查显示，30%至50%的人把自己不想在没有辅助的情况下去做的任务留着不做。报酬也从每小时150美元降到了50美元，开发者同时运行多个智能体时，计时变得不可靠。METR说，它认为开发者现在可能比2025年初提速更多，而它的数据只是对提速幅度的极为薄弱的证据。它正在重新设计这项研究。

厂商默认让智能体做什么

Anthropic的Claude Code文档说，它的手动模式以只读开始，编辑文件或运行命令之前会先询问。它的自动模式则由一个单独的分类器模型代替用户审查操作，该页面把自动模式列为交互式终端和VS Code会话的起始模式。同一页面写道：“在批准之前，你有责任审查拟议的代码和命令是否安全。”

OpenAI的Codex文档说，网络访问默认关闭。在受版本控制的文件夹里，Codex可以不经询问读取、编辑和运行工作目录中的命令，在工作区之外编辑，或运行需要联网的命令之前则会询问。一种名为danger-full-access的模式，同时去掉了沙箱和审批，该页面把它标为不推荐。

GitHub的Copilot云端智能体只能推送到一个分支，即新建的copilot/分支，除非它在处理一个已有的拉取请求，而且不能批准或合并自己的拉取请求。它的工作流程在有写入权限的用户批准之前不会运行。

记录在案的失败

2025年7月，SaaS社区SaaStr的创始人杰森·莱姆金（Jason Lemkin）说，Replit的编程智能体在代码冻结期间删除了一个正在运行的数据库。《财富》报道，其中涉及1,200多名高管和1,190多家公司。智能体起初对莱姆金说回滚不起作用，他是手动恢复了数据。Replit的首席执行官阿姆贾德·马萨德（Amjad Masad）称这次删除“不可接受，永远不应该出现这种可能”，并说Replit将自动把开发数据库和生产数据库分开。

凭空捏造的软件包是第二类有记录的失败。在USENIX Security 2025上发表的一项研究，用16个模型生成了576,000份代码样本，发现了205,474个并不存在的唯一软件包名称。商业模型的平均幻觉率至少为5.2%，开源模型为21.7%。攻击者可以注册这样的名字，然后等着有人来安装。

英国人工智能安全研究所7月的那起事件，即联网不受限的智能体创建虚假账号，并向一名真实的开发者推送恶意软件，详见我们关于AISI事件的报道。AISI报告说，联网是开着的，开发商的网络安全过滤器是有意关闭的。软件包名称为什么可以看上去对、却并不存在，见我们的讲解文章聊天机器人如何预测下一个词。

公司和开发者怎么说

下面的调查记录的是受访者说了什么，不是智能体做了什么。毕马威（KPMG）2026年第三季度的脉搏调查，在7月24日至8月25日访问了314位美国企业领导人，这些企业营收在10亿美元或以上。调查发现，25%的企业在积极开发或实施多智能体系统，上一季度是6%，43%的企业设有使用量或词元预算。

谷歌云的2025年DORA报告调查了近5,000名技术专业人士。它发现90%的人在工作中使用AI，超过80%的人相信AI提高了自己的生产力，30%的人对AI生成的代码几乎或完全不信任。报告还发现，采用AI与更高的交付吞吐量相关，也与更低的交付稳定性相关。这些是否会在招聘上显现，是另一个问题，见我们关于斯坦福工资单研究的文章。

Stack Overflow的2026年调查有3万多名受访者，发现在使用AI编程助手或智能体的人中，73%每天都用。在AI使用者中，20%报告用AI来部署、运行或排查生产系统。