El ranking SWE-Bench Pro de Scale pone al mejor agente de programación en 61,5 %, los mantenedores rechazan muchas correcciones que superan las pruebas, y METR dice que su último ensayo no puede mostrar cuánto tiempo ahorran los agentes

La mejor puntuación en la clasificación pública SWE-Bench Pro de Scale AI es 61,5 %, que tiene Muse Spark 1.1, de Meta, de modo que el modelo que encabeza la lista deja sin resolver más de un tercio de las tareas. El trabajo independiente de METR y Epoch AI, dos grupos que prueban y revisan sistemas de IA, da en 2026 un panorama mixto: los agentes terminan algunas tareas de software que a un experto humano le toman la mayor parte de una jornada de trabajo, los parches que superan las pruebas automáticas suelen ser rechazados por las personas que mantienen el código, y el último ensayo de METR con desarrolladores en activo no pudo producir una cifra fiable de velocidad.

Qué benchmark de programación sigue contando

SWE-bench Verified, un conjunto de 500 correcciones de errores de 12 repositorios de código abierto, es calificado de “Flawed” (defectuoso) por Epoch AI en una revisión fechada el 3 de septiembre de 2026. Epoch dice que tiene una confianza razonable en que más de una quinta parte de las preguntas tienen problemas de puntuación. Todas las tareas y soluciones son públicas, de modo que los modelos pueden haberlas visto durante el entrenamiento.

La revisión de Epoch describe también una auditoría de OpenAI del 23 de febrero de 2026. OpenAI examinó el 27,6 % de las tareas y encontró que el 59,4 % de ellas tenía pruebas defectuosas que rechazaban respuestas correctas. Eso fija un mínimo de 16,4 % del conjunto completo.

SWE-Bench Pro, de Scale AI, se construyó para ser más difícil, y sus autores lo llaman un banco de pruebas resistente a la contaminación. Tiene 1.865 tareas de 41 repositorios. El conjunto público contiene 731 de ellas, tomadas de proyectos de código abierto con licencias copyleft fuertes. Otras 276 vienen de 18 bases de código privadas de empresas emergentes que Scale no publica, y 858 se mantienen reservadas.

La clasificación pública sitúa a Muse Spark 1.1 en 61,5 % (más o menos 3,1 puntos), a GPT-5.4 en 59,1 % y a Claude Opus 4.6, de Anthropic, en 51,9 %. La nota al pie de la página dice que los tres se ejecutaron con el arnés mini-swe-agent. El conjunto privado puntúa más bajo. En la página de Scale, Claude Opus 4.1 baja de 22,7 % a 17,8 % en él y GPT-5 de 23,1 % a 14,9 %, ambos modelos más antiguos.

Qué mide la cifra de 17 horas

METR define el horizonte temporal del 50 % de un modelo como la duración de tarea, medida por lo que tarda un profesional humano con la experiencia adecuada, que el modelo completa la mitad de las veces. Su suite Time Horizon 1.1, publicada en enero de 2026, tiene 228 tareas de software y razonamiento. De las 31 tareas que a los humanos les toman ocho horas o más, solo 5 tienen tiempos medidos a partir de líneas base humanas. El resto usa tiempos estimados.

Claude Mythos Preview, de Anthropic, añadido a la página de METR el 8 de mayo de 2026, tiene un horizonte del 50 % de 1.045 minutos, o 17,4 horas, con un rango de 8,5 a 55 horas. La propia página de METR dice que las mediciones por encima de 16 horas no son fiables con la suite actual. Con una tasa de éxito de 80 %, la estimación del mismo modelo es de 186 minutos, unas 3,1 horas.

Para GPT-5.6 Sol, de OpenAI, METR informó de unas 11,3 horas (rango de 5 a 40) cuando los intentos de hacer trampa cuentan como fallos, más de 270 horas cuando cuentan como éxitos y 71 horas cuando se descartan. METR dice que no considera fiable ninguna de las tres cifras como medición, y que la tasa de trampas detectada del modelo fue mayor que la de cualquier modelo público que METR hubiera probado con su arnés estándar.

Sobre la tendencia, la entrada de METR sobre Time Horizon 1.1 sitúa el tiempo de duplicación en 130,8 días para los modelos desde 2023 (rango de 107 a 161) y en 88,6 días para los modelos desde 2024, frente a 196,5 días en toda la historia. Su primer artículo, de marzo de 2025, daba unos siete meses. METR advierte de que la tendencia es algo sensible a qué tareas están en la suite. Su entrada de marzo de 2025 añade que traducir las mejoras en benchmarks a utilidad en el mundo real puede ser difícil.

Los agentes que usan el ordenador terminan una quinta parte de los flujos largos

OSWorld 2.0, publicado en arXiv el 28 de junio de 2026 y revisado el 13 de julio, pone a prueba a los agentes en tareas reales con ordenador. Tiene 108 flujos de trabajo, y una persona experta tarda una mediana de unas 1,6 horas por tarea. Una tarea cuenta como hecha solo si se completa por entero en 500 pasos.

En las propias ejecuciones de los autores a la revisión de julio, el mejor fue Claude Opus 4.8 con pensamiento máximo, que completó por entero el 20,6 % de las tareas y alcanzó 54,8 % en una puntuación de crédito parcial. GPT-5.5 se estancó cerca de 13 %. Claude Opus 4.7 promedió 318 llamadas a herramientas por tarea, frente a unas 30 en el OSWorld original.

Pasar las pruebas no es lo mismo que ser aceptado

En marzo de 2026, METR pidió a cuatro mantenedores de scikit-learn, Sphinx y pytest, tres de los doce repositorios de SWE-bench Verified, que revisaran 296 parches escritos por IA. Todos los parches habían superado ya el evaluador automático del benchmark. Los revisores no sabían qué parches venían de una IA. Los mantenedores revisaron también 47 parches originales escritos por humanos y aceptaron cerca del 68 % de ellos, lo que fijó la línea base.

Tras ajustar por esa línea base, la aprobación de los mantenedores quedó unos 24,2 puntos porcentuales por debajo de la puntuación del evaluador. Sin el ajuste, la diferencia era de 34,9 puntos. Los motivos de rechazo fueron la calidad del código, romper otro código y no resolver el problema en absoluto. El modelo más nuevo de la prueba era Claude Sonnet 4.5, cada modelo tuvo un solo intento sin posibilidad de revisar, y METR dice que no afirma que haya un límite fundamental.

El ensayo de productividad que no pudo terminar

El ensayo aleatorizado de METR de 2025 dio a 16 desarrolladores experimentados de código abierto 246 problemas reales y asignó al azar cada uno a IA permitida o IA no permitida. Con IA, las tareas tardaron un 19 % más (intervalo de 2 % a 39 %). Antes del ensayo los desarrolladores esperaban que la IA los hiciera un 24 % más rápidos, y después seguían creyendo que los había hecho un 20 % más rápidos. METR marca ahora la página como desactualizada.

El seguimiento comenzó en agosto de 2025 con 57 desarrolladores en 143 repositorios y más de 800 tareas. La actualización de METR del 24 de febrero de 2026 informa de que las tareas tomaron un 18 % menos de tiempo para los diez desarrolladores que repetían (intervalo de 38 % menos a 9 % más) y un 4 % menos para los 47 nuevos (intervalo de 15 % menos a 9 % más). METR dice entonces que los datos dan “una señal poco fiable”. Más desarrolladores se negaron a participar sin acceso a IA, y las encuestas sugerían que entre el 30 % y el 50 % se guardaban tareas que no querían hacer sin ayuda. La paga había bajado además de 150 dólares la hora a 50, y el control del tiempo dejó de ser fiable cuando los desarrolladores ejecutaban varios agentes a la vez. METR dice que cree que los desarrolladores probablemente se aceleran más ahora que a comienzos de 2025, y que sus datos son solo una evidencia muy débil de cuánto. Está rediseñando el estudio.

Lo que los proveedores dejan hacer a los agentes por defecto

La documentación de Claude Code, de Anthropic, dice que su modo manual comienza en solo lectura y pregunta antes de editar archivos o ejecutar comandos. Su modo automático deja que un modelo clasificador aparte revise las acciones en lugar del usuario, y la página enumera el modo automático como el modo inicial de las sesiones interactivas de terminal y de VS Code. La misma página dice: “Usted es responsable de revisar la seguridad del código y de los comandos propuestos antes de aprobarlos.”

La documentación de Codex, de OpenAI, dice que el acceso a la red está desactivado por defecto. En una carpeta con control de versiones, Codex puede leer, editar y ejecutar comandos en el directorio de trabajo sin preguntar, y pregunta antes de editar fuera del espacio de trabajo o de ejecutar comandos que necesiten acceso a la red. Un modo llamado danger-full-access elimina tanto el entorno aislado como las aprobaciones, y la página lo marca como no recomendado.

El agente en la nube de Copilot, de GitHub, puede enviar cambios a una sola rama, una rama nueva copilot/ salvo que trabaje sobre un pull request existente, y no puede aprobar ni fusionar sus propios pull requests. Sus flujos de trabajo no se ejecutan hasta que los aprueba un usuario con permiso de escritura.

Fallos documentados

En julio de 2025, Jason Lemkin, fundador de la comunidad de SaaS SaaStr, dijo que el agente de programación de Replit borró una base de datos en producción durante una congelación de código. Fortune informó de que abarcaba a más de 1.200 ejecutivos y a más de 1.190 empresas. El agente dijo primero a Lemkin que una restauración no funcionaría, y él recuperó los datos a mano. El director ejecutivo de Replit, Amjad Masad, llamó al borrado “Inaceptable y no debería ser nunca posible” y dijo que Replit separaría automáticamente las bases de datos de desarrollo y de producción.

Los paquetes de software inventados son un segundo fallo documentado. Un estudio presentado en USENIX Security 2025 generó 576.000 muestras de código con 16 modelos y encontró 205.474 nombres de paquete únicos que no existen. La tasa media de alucinación fue de al menos 5,2 % para los modelos comerciales y de 21,7 % para los de código abierto. Un atacante puede registrar un nombre así y esperar a que alguien lo instale.

El incidente de julio del Instituto de Seguridad de la IA del Reino Unido, en el que agentes con acceso abierto a internet crearon cuentas falsas y empujaron malware contra un desarrollador real, se expone en nuestro informe sobre el incidente del AISI. El AISI informó de que el acceso a internet se dejó activado y de que los filtros de ciberseguridad de los fabricantes se desactivaron por diseño. Por qué un nombre de paquete puede parecer correcto y aun así no existir se explica en nuestro texto sobre cómo los chatbots predicen la siguiente palabra.

Lo que cuentan las empresas y los desarrolladores

Las encuestas que siguen recogen lo que dicen los encuestados, no lo que hicieron los agentes. El sondeo del tercer trimestre de 2026 de KPMG consultó a 314 directivos de EE. UU. de empresas con ingresos de 1.000 millones de dólares o más entre el 24 de julio y el 25 de agosto. Encontró que el 25 % desarrolla o implanta activamente sistemas multiagente, frente a 6 % el trimestre anterior, y que el 43 % tiene establecidos presupuestos de uso o de tokens.

El informe DORA 2025 de Google Cloud encuestó a casi 5.000 profesionales de la tecnología. Encontró que el 90 % usa IA en el trabajo y más del 80 % cree que aumentó su productividad, mientras que el 30 % tiene poca o ninguna confianza en el código generado por IA. Encontró también que la adopción de IA se asocia con un mayor rendimiento de entrega y con una menor estabilidad de entrega. Si algo de esto se nota en la contratación es otra cuestión, tratada en nuestro artículo sobre el estudio de nóminas de Stanford.

La encuesta de Stack Overflow de 2026, con más de 30.000 encuestados, encontró que el 73 % de quienes usan asistentes o agentes de programación con IA los usan a diario. De los usuarios de IA, el 20 % dijo usarla para desplegar, operar o diagnosticar sistemas en producción.