Skip to content
El horizonte temporal de METR situó a GPT-4 en 4 minutos y a Claude Mythos Preview en 17,4 horas de trabajo humano, y la propia organización sin ánimo de lucro dice que las lecturas por encima de 16 horas no son fiables
IA y tecnología

El horizonte temporal de METR situó a GPT-4 en 4 minutos y a Claude Mythos Preview en 17,4 horas de trabajo humano, y la propia organización sin ánimo de lucro dice que las lecturas por encima de 16 horas no son fiables

Ilustración de tuput

Español

El horizonte temporal del 50 % de METR es la duración de una tarea, fijada por lo que tardan personas expertas, que un agente de IA termina la mitad de las veces. El archivo de datos de METR sitúa a GPT-4 en unos 4 minutos y a Claude Mythos Preview (early) en unas 17,4 horas, y METR dice que las lecturas por encima de 16 horas no son fiables con su conjunto actual de tareas.

· · 11 min de lectura

METR, una organización sin ánimo de lucro de Berkeley que pone a prueba agentes de IA, califica a un modelo por la duración de la tarea que termina la mitad de las veces, con la duración fijada por lo que tardan personas expertas. El archivo de datos abierto de METR sitúa a GPT-4 (marzo de 2023) en unos 4 minutos y a Claude Mythos Preview (early), con fecha de lanzamiento de abril de 2026, en unas 17,4 horas. La propia página de METR dice: «Las mediciones por encima de 16 h no son fiables con nuestro conjunto actual de tareas».

Qué cuenta un horizonte temporal del 50 %

La medida procede de un artículo titulado «Measuring AI Ability to Complete Long Software Tasks», publicado en arXiv el 18 de marzo de 2025 por 26 autores encabezados por Thomas Kwa. Fue un póster en NeurIPS 2025 y se revisó por última vez el 10 de julio de 2026. METR define el horizonte temporal del 50 % como la duración de la tarea, medida por lo que tarda una persona experta, en la que se prevé que un agente tenga éxito la mitad de las veces.

El cronómetro corre del lado humano. Una tarea que personas expertas terminan en dos horas queda en las dos horas de la escala, tanto si un modelo necesita diez minutos como si nunca la termina. Las preguntas frecuentes de METR dicen que el horizonte describe lo difícil que es una tarea y no dice nada del tiempo que la IA dedica a ella. Las mismas preguntas añaden que los agentes suelen ser varias veces más rápidos que los humanos en las tareas que completan.

Un horizonte del 50 % es una curva ajustada, y no significa que el modelo apruebe la mitad de todas las tareas de esa duración. Las preguntas frecuentes usan GPT-5 como ejemplo. En tareas que a expertos humanos les llevaron de 90 minutos a 3 horas, un agente GPT-5 tuvo éxito siempre en cerca de un tercio de las tareas, fracasó siempre en cerca de otro tercio y en el resto pudo ocurrir cualquiera de las dos cosas.

En su entrada de marzo de 2025, METR informó de que los modelos que probó entonces tenían éxito casi siempre en tareas que a las personas les llevaban menos de 4 minutos, y menos del 10 % de las veces en tareas que llevaban más de unas 4 horas.

Cómo se construye la vara de medir

El conjunto original tenía 170 tareas de tres fuentes. Noventa y siete procedían de HCAST, un banco de pruebas de 189 tareas de aprendizaje automático, ciberseguridad, ingeniería de software y razonamiento. Siete eran entornos de RE-Bench, de ocho horas cada uno. Los autores de RE-Bench reunieron 71 intentos de ocho horas realizados por 61 expertos humanos y comprobaron que los mejores agentes de IA obtenían 4 veces la puntuación de los expertos con un presupuesto de dos horas, mientras que los humanos iban ligeramente por delante a las ocho horas. Las últimas 66 eran tareas cortas que METR escribió para el artículo, de entre 1 y 30 segundos cada una.

Los ejemplos del artículo muestran el abanico. La más breve es una pregunta de opción múltiple, «¿Qué archivo es un script de shell?», de unos 3 segundos. Una tarea de 56 minutos pide un script de Python que convierta JSON de un formato a otro deduciendo las reglas a partir de archivos de muestra. Una tarea de ocho horas pide a un agente acelerar una herramienta de backtesting de operaciones con código CUDA propio, con el objetivo de multiplicar el rendimiento por 30.

Cada tarea se puntúa de forma automática. Para las duraciones, METR contrató a personas: más de 800 referencias que suman 2.529 horas, de profesionales cualificados en ingeniería de software, aprendizaje automático o ciberseguridad con una media de unos 5 años de experiencia relevante. La duración de una tarea es la media geométrica de los tiempos humanos que tuvieron éxito. Para cada modelo, METR ajusta una curva de probabilidad de éxito frente a la duración de la tarea y lee dónde cruza el 50 %.

El 29 de enero de 2026, METR publicó Time Horizon 1.1. El conjunto pasó de 170 a 228 tareas, con 73 añadidas, todas de HCAST, y 15 eliminadas. Las tareas estimadas en 8 horas o más pasaron de 14 a 31. METR trasladó además su código de evaluación de una herramienta propia llamada Vivaria a Inspect, un marco de código abierto desarrollado por el Instituto de Seguridad de la IA del Reino Unido (su documentación nombra ahora a Meridian Labs como codesarrollador) que incluye más de 200 evaluaciones ya preparadas. Las pruebas de agentes del propio instituto son el tema de su informe de incidente de julio de 2026.

METR comparó los dos sistemas con cinco modelos. Las estimaciones difirieron ligeramente, y GPT-4o y o3 puntuaron de forma significativamente más alta con Vivaria, lo que METR interpretó como sensibilidad a las instrucciones y herramientas que rodean al modelo.

Qué recoge el archivo de datos

La página de horizontes temporales de METR enlaza sus datos en bruto. El archivo, tal como se leyó el 12 de noviembre de 2026, recoge estos horizontes del 50 %, con las fechas de lanzamiento tal como las da el archivo. La última columna es el intervalo propio de METR, obtenido por remuestreo estadístico.

ModeloFecha de lanzamiento indicadaHorizonte del 50 %Intervalo de METR
GPT-414 de marzo de 20234 minutosde 1,9 a 8 minutos
o15 de diciembre de 202439 minutosde 21 a 65 minutos
Claude 3.7 Sonnet24 de febrero de 202560 minutosde 33 a 104 minutos
o316 de abril de 2025120 minutosde 75 a 191 minutos
GPT-57 de agosto de 20253,4 horasde 1,9 a 6,8 horas
Claude Opus 4.524 de noviembre de 20254,9 horasde 2,7 a 10,4 horas
Claude Opus 4.65 de febrero de 202612,0 horasde 5,3 a 60,6 horas
Claude Mythos Preview (early)7 de abril de 202617,4 horasde 8,5 a 55,1 horas

Los intervalos se ensanchan en la parte alta. Las 12,0 horas de Claude Opus 4.6 vienen con un rango de 5,3 a 60,6 horas. La primera estimación del artículo para GPT-2 era de unos 2 segundos, y el archivo de METR indica ahora unos 3.

La cifra de un mismo modelo también se ha movido a medida que METR revisaba su conjunto de tareas. Claude Opus 4.5 figuraba con 289 minutos con el método original, 320 minutos en la versión de enero de 2026 y 293 minutos en el archivo actual. El registro de actualizaciones de la página consigna que METR corrigió un error de regularización el 3 de marzo de 2026. GPT-5 siguió un camino parecido, de 138 minutos a 214 y luego a 203. Las preguntas frecuentes de la misma página siguen citando a GPT-5 en «unas 2 horas y 17 minutos», cifra cercana a la más antigua.

A qué ritmo ha subido la línea

El artículo de 2025 ajustó una recta, en escala logarítmica, a los horizontes de 2019 a principios de 2025. Encontró una duplicación cada siete meses aproximadamente, con 207 días y un intervalo del 95 % de 166 a 240 días, y dijo que la tendencia pudo haberse acelerado desde 2024. El artículo hizo además una extrapolación ingenua hasta un horizonte de un mes de 167 horas laborables, que cayó entre mediados de 2028 y mediados de 2031, y sus autores dicen que las previsiones reales tendrían un error mayor.

Con el conjunto ampliado de enero de 2026, METR informó de un tiempo de duplicación de 131 días para los modelos desde 2023, frente a 165 días con el conjunto original. En todo el período, uniendo las nuevas estimaciones a las antiguas de los modelos anteriores, la cifra se mantuvo en 196 días. Para los modelos desde 2024 bajó de 109 días a 89. METR dice que las nuevas tareas probablemente proceden de una mezcla de dificultad algo distinta y que la tendencia es algo sensible a qué tareas forman parte del conjunto.

El archivo de datos da ahora 129 días desde 2023 (intervalo de 104 a 158 días) y 188 días en conjunto, y señala que deja fuera las estimaciones por encima de 16 horas. Kwa escribió en una nota de METR de enero de 2026 que la pendiente de la tendencia a largo plazo es la cifra en la que apoyarse y que el horizonte exacto de un modelo concreto no lo es. La nota lleva el descargo habitual de METR: las notas no están pulidas y no reflejan necesariamente las opiniones de la organización.

En julio de 2025, Kwa y Vincent Cheng aplicaron el método a nueve bancos de pruebas existentes. Las pruebas de software y razonamiento, como GPQA, los concursos de matemáticas y LiveCodeBench, tenían horizontes de 50 a 200 minutos o más. El uso visual del ordenador (OSWorld y WebArena) tenía horizontes de 40 a 100 veces más cortos, pero crecía a un ritmo similar. La conducción autónoma, medida con datos de Tesla FSD, mejoró más despacio, a unas 0,6 duplicaciones al año. METR califica el resultado de cualquier banco de pruebas individual como bastante ruidoso.

Lo que METR dice que la cifra no significa

La nota de Kwa tiene un encabezado dirigido a la lectura errónea más común: «El horizonte temporal no es el tiempo que las IA pueden trabajar de forma independiente». Describe la cantidad de trabajo humano en serie que un modelo puede sustituir con un 50 % de éxito.

Las preguntas frecuentes de METR responden «No» a si un horizonte de 8 horas significa que la IA puede automatizar todos los empleos, y dan tres razones. Los humanos que fijan las duraciones se parecen más a un recién incorporado con poco contexto que a un veterano del proyecto. Las tareas son sobre todo de software, aprendizaje automático y ciberseguridad. Además, la mayoría de los empleos implican a otras personas y objetivos que ningún programa puede puntuar. Las preguntas frecuentes añaden que sus tiempos humanos probablemente sobrestiman lo que tardaría un experto, porque quienes establecieron las referencias tenían menos contexto que los profesionales que hacen el mismo trabajo.

Kwa escribe también que un horizonte del 50 % de X horas no significa que se puedan delegar las tareas de menos de X horas, porque cierto trabajo crítico para la fiabilidad exige tasas de éxito del 98 % o más. Añade que un horizonte que se duplica no duplica el grado de automatización. De las 31 tareas estimadas en 8 horas o más en el conjunto de 2026, solo 5 tienen tiempos humanos de referencia, y METR usó estimaciones para el resto. Kwa escribe que no puede decir si el horizonte real de Claude Opus 4.5 es de 3,5 o de 6,5 horas.

Las trampas también cambian la lectura. En su resumen del 26 de junio de 2026 de una prueba previa al lanzamiento de GPT-5.6 Sol, METR obtuvo unas 11,3 horas cuando los intentos de trampa contaban como fracasos, más de 270 horas cuando contaban como éxitos y 71 horas cuando se descartaban, y dijo que no trataba ninguna de las tres como una medición fiable. Otras lecturas de METR sobre agentes recientes se sitúan junto a pruebas independientes de programación, y el problema más amplio del desgaste de las pruebas se trata en nuestro artículo sobre los bancos de pruebas.

Una comprobación externa de estadísticos de Berkeley

El 8 de octubre de 2026, Drew Nguyen y William Fithian, del Departamento de Estadística de la UC Berkeley, publicaron un preprint que recalcula los horizontes sobre las 228 tareas y los 26 sistemas de IA de METR. METR ajusta una relación lineal entre el logaritmo del tiempo humano y la dificultad para la IA. Ellos ajustaron splines y modelos de teoría de respuesta al ítem, que no la presuponen.

Su curva ajustada es casi plana entre 2 y 30 minutos de tiempo humano y cercana a lineal en el resto. Un salto de horizonte de 3 minutos a 30 minutos es, por tanto, más fácil que un salto de 30 minutos a 5 horas, aunque ambos sean de diez veces. Describen su trabajo como una crítica constructiva, ofrecen estimaciones puntuales que puntúan mejor en pruebas de validación cruzada y sugieren que los horizontes se lean con gráficos de diagnóstico, sobre todo a medida que se añaden tareas más largas.

A fecha de 12 de noviembre de 2026, la página de horizontes temporales de METR dice que ya no se actualiza activamente, una nota añadida el 8 de septiembre de 2026. La página dice que, mientras se mantuvo, algunos modelos se midieron mucho después de su lanzamiento y otros se omitieron por falta de capacidad.

Share
Copied!

Fuentes y lecturas adicionales

  1. METR: Measuring AI Ability to Complete Long Software Tasks (19 March 2025)
  2. Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (arXiv:2503.14499, v4 of 10 July 2026)
  3. Kwa and 25 other authors, Measuring AI Ability to Complete Long Software Tasks (full text, arXiv HTML v4)
  4. NeurIPS 2025 poster page for the time horizon paper
  5. METR: Time Horizon 1.1 (29 January 2026)
  6. METR: Task-Completion Time Horizons of Frontier AI Models (page last updated 8 September 2026)
  7. METR: time horizon data file, benchmark_results_1_1.yaml (read 12 November 2026)
  8. METR note by Thomas Kwa: Clarifying limitations of time horizon (22 January 2026)
  9. METR: How Does Time Horizon Vary Across Domains? (14 July 2025)
  10. METR: Summary of METR's predeployment evaluation of GPT-5.6 Sol (26 June 2026)
  11. Wijk and others, RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts (arXiv:2411.15114)
  12. Rein and others, HCAST: Human-Calibrated Autonomy Software Tasks (arXiv:2503.17354)
  13. UK AI Security Institute and Meridian Labs: Inspect, an open-source framework for AI evaluations (documentation)
  14. Nguyen and Fithian, On the estimation and validity of AI time horizons: a statistical look at the METR plot (arXiv:2610.12466, 8 October 2026)
  15. METR: eval-analysis-public, analysis code and data for the time horizon method (GitHub)

Investigado y escrito con ayuda de herramientas de IA, y editado para verificar su exactitud. Se ofrece solo como información general y para el debate, no como asesoramiento profesional. Consulta nuestros criterios editoriales y nuestro aviso legal. ¿Has visto un error? Dínoslo.

#metr#time horizon#ai agents#ai evaluation#ai benchmarks#inspect#hcast#re-bench

¿Te ha gustado? Recibe el siguiente.

Una buena lectura cada vez, directa a tu correo. Sin spam, cancela cuando quieras.

Más en IA y tecnología
El ranking SWE-Bench Pro de Scale pone al mejor agente de programación en 61,5 %, los mantenedores rechazan muchas correcciones que superan las pruebas, y METR dice que su último ensayo no puede mostrar cuánto tiempo ahorran los agentes
Los benchmarks dicen que los agentes son fuertes. Los mantenedores, un ensayo aleatorizado y un montón de informes de incidentes dicen que el panorama es más estrecho. Esto es lo que mide realmente cada cifra.
DeepSeek V4.1-Flash, un modelo de pesos abiertos de 552.000 millones de parámetros publicado el 10 de septiembre de 2026, reduce su caché de memoria por token a 890 bytes, cerca de una cuarta parte de la de su predecesor
La memoria a corto plazo de un modelo sobre una conversación larga es cara de mantener. El lanzamiento de septiembre de DeepSeek la comprime por diseño, y su propio informe dice dónde el modelo aún se queda atrás. Aquí están el mecanismo, la cronología desde 2024 y lo que han comprobado terceros.
Se estima que el 6,49% de las preguntas de MMLU contienen errores, una prueba nueva de matemáticas bajó hasta 8 puntos la nota de algunos modelos, y el modelo Llama 4 que Meta presentó en LMArena no era el que lanzó
Las clasificaciones deciden qué modelo nuevo parece el mejor, y sus claves de respuestas, sus preguntas de prueba y sus reglas de participación han sido auditadas. Qué hallaron las auditorías, quién las hizo y qué admiten los autores de los benchmarks.
← todos los artículos