Skip to content
La puntuación de DeepSeek-R1 en un concurso de matemáticas de EE. UU. subió del 15,6 % al 77,9 % durante el entrenamiento solo con recompensas por respuestas correctas, y Nature publicó los informes de los revisores junto al artículo
IA y tecnología

La puntuación de DeepSeek-R1 en un concurso de matemáticas de EE. UU. subió del 15,6 % al 77,9 % durante el entrenamiento solo con recompensas por respuestas correctas, y Nature publicó los informes de los revisores junto al artículo

Ilustración de tuput

Español

El artículo de R1 de DeepSeek apareció en Nature el 17 de septiembre de 2025 (volumen 645, páginas 633 a 638). Informa de que un modelo de lenguaje puede aprender a escribir soluciones largas que se autocomprueban cuando solo se le recompensa por respuestas finales correctas, sin ejemplos resueltos escritos por personas que copiar. La revista publicó además los informes de ocho revisores y las respuestas de los autores.

· · 11 min de lectura

El 17 de septiembre de 2025 Nature publicó el artículo detrás de DeepSeek-R1, el modelo de razonamiento de la empresa DeepSeek, de Hangzhou, en el volumen 645, páginas 633 a 638. Su resultado central es que un modelo de lenguaje puede aprender a escribir soluciones largas que se autocomprueban cuando solo se le recompensa por respuestas finales correctas, sin ejemplos resueltos escritos por personas que copiar. En el Examen Invitacional Estadounidense de Matemáticas (AIME) de 2024, un concurso de matemáticas de EE. UU. para estudiantes de secundaria cuyas respuestas son números sueltos, la primera versión del modelo, R1-Zero, pasó de un promedio de 15,6 % de aciertos a 77,9 % a lo largo del entrenamiento, según la Figura 1 del artículo. Un voto mayoritario entre varias respuestas muestreadas lo elevó a 86,7 %.

Nature publicó los informes de los revisores y las respuestas de los autores junto con el artículo, y sus páginas suplementarias dan la factura del entrenamiento: 294.000 dólares al precio de alquiler de GPU que suponen los autores. Lo que sigue explica cómo se entrena un modelo así, de dónde salió cada idea y qué cambió la revisión por pares.

Lo que afirma el artículo

R1-Zero parte de DeepSeek-V3 Base, un modelo ya preentrenado con texto de la web (la etapa de preentrenamiento se explica en nuestro artículo sobre el entrenamiento). Los autores aplicaron entonces aprendizaje por refuerzo, un método de ensayo y error en el que se puntúan las propias respuestas del modelo y se le empuja hacia las que puntúan bien. Se saltaron el paso habitual de ajuste fino supervisado, en el que las personas aportan ejemplos resueltos que el modelo imita. La recompensa dependía solo de que la respuesta final coincidiera con la correcta conocida. La única indicación sobre la forma era una plantilla que pedía al modelo poner su razonamiento entre etiquetas think y su respuesta entre etiquetas answer.

A lo largo del entrenamiento, dice el artículo, las respuestas se alargaron y empezaron a incluir comprobaciones, reflexión y la exploración de enfoques alternativos, aunque los autores no enseñaron explícitamente al modelo cómo razonar. R1-Zero tenía defectos: su texto era difícil de leer y a veces mezclaba inglés y chino en una misma respuesta. Así que el equipo construyó DeepSeek-R1 por etapas. Empieza con miles de ejemplos de arranque escritos en estilo conversacional, añade aprendizaje por refuerzo, luego muestreo por rechazo (quedarse solo con las buenas salidas del modelo) con una segunda ronda de ajuste fino supervisado, y termina con una segunda etapa de refuerzo orientada a la utilidad y la inocuidad.

La nota de lanzamiento de DeepSeek fecha el modelo el 20 de enero de 2025 y dice que el código y los modelos llevan la licencia MIT, y que también se publicaron seis modelos destilados más pequeños. En la ficha del modelo, DeepSeek da a R1 un 79,8 % en AIME 2024 frente a un 39,2 % de DeepSeek-V3, el modelo sobre el que se construyó, con 64 respuestas muestreadas por pregunta a temperatura 0,6. Los sucesores del modelo se tratan en nuestro repaso de los modelos chinos de pesos abiertos. La página de Hugging Face del modelo registraba unos 51,5 millones de descargas a lo largo de su vida cuando la abrimos el 12 de noviembre de 2026.

Tres ideas anteriores en las que se apoya el artículo

La idea de que un modelo rinde mejor cuando escribe sus pasos surgió primero de la forma de pedirle las cosas. Jason Wei y sus colegas de Google publicaron el artículo de la cadena de pensamiento el 28 de enero de 2022. Informan de que un modelo de 540.000 millones de parámetros, al que se mostraron solo ocho ejemplos resueltos, alcanzó una precisión de vanguardia en GSM8K, un conjunto de problemas de matemáticas de primaria con enunciado en texto. El 24 de mayo de 2022 Takeshi Kojima y sus colegas mostraron que añadir las palabras «Let’s think step by step» subía la precisión de un modelo grande del 17,7 % al 78,7 % en MultiArith y del 10,4 % al 40,7 % en GSM8K, sin ningún ejemplo.

Un tercer hilo fue la retroalimentación sobre los propios pasos. En un artículo publicado el 31 de mayo de 2023, investigadores de OpenAI compararon recompensar solo el resultado final con recompensar cada paso intermedio. La retroalimentación por pasos ganó en el conjunto de datos MATH, con el mejor modelo resolviendo el 78 % de un subconjunto representativo, y el equipo publicó PRM800K, 800.000 etiquetas por pasos escritas por personas.

Cada una de estas necesitaba personas: para los ejemplos, o para las etiquetas de cada paso. La introducción del artículo de Nature sostiene que depender de trazas de razonamiento anotadas por humanos frena la escala y limita al modelo a la calidad de los ejemplos que se le mostraron. Su prueba fue si un modelo base podía encontrar buenas estrategias de razonamiento solo con la recompensa.

Por qué una máquina puede puntuar una respuesta de matemáticas

Los autores usan dos tipos de recompensa basada en reglas en las tareas de razonamiento. Una recompensa de precisión comprueba la respuesta: un problema de matemáticas exige la respuesta final en un formato fijo, por ejemplo dentro de un recuadro, de modo que un programa pueda compararla con la clave, y el código lo ejecuta un compilador con casos de prueba predefinidos. Una recompensa de formato comprueba que el razonamiento esté dentro de las etiquetas. Las dos se suman con el mismo peso.

Decidieron no usar un modelo de recompensa aprendido, una segunda red neuronal que puntúa las respuestas, en las tareas de razonamiento. El artículo dice que esos modelos están expuestos al hackeo de la recompensa en el entrenamiento a gran escala, es decir, que el modelo aprende a agradar al evaluador en lugar de resolver el problema, y que reentrenarlos cuesta cómputo adicional.

El método de aprendizaje es la Optimización de Políticas Relativa de Grupo, o GRPO. Para cada pregunta el modelo escribe un grupo de respuestas, 16 en la ejecución de R1-Zero. La recompensa de cada respuesta se compara con la media y la dispersión del grupo, y las respuestas por encima de la media se hacen más probables. El pie de figura del artículo de Nature dice que esto estima la ventaja directamente a partir de las puntuaciones del grupo, sin la función de valor aparte del método PPO, más antiguo. El equipo de DeepSeek introdujo GRPO en el artículo DeepSeekMath del 5 de febrero de 2024, en el que un modelo de 7000 millones de parámetros alcanzó un 51,7 % en el banco de pruebas MATH; el artículo de Nature cita ese trabajo y describe el método en su sección de Métodos.

R1-Zero se entrenó durante 10.400 pasos. Cada paso usó 32 preguntas con 16 respuestas cada una, es decir, 512 respuestas, con un tope de longitud de 32.768 tokens que se elevó a 65.536 después del paso 8200.

Lo que mostraron las curvas de entrenamiento

El artículo informa de que la longitud media de las respuestas aumentó de forma constante durante el entrenamiento, y de que el modelo llegó a escribir de cientos a miles de tokens mientras comprobaba su propio trabajo. Su figura de Datos Ampliados cuenta palabras reflexivas como «wait», «mistake» y «verify» en las salidas. La palabra «wait» casi no aparecía al principio, surgió de vez en cuando entre los pasos 4000 y 7000, y subió bruscamente después del paso 8000. Los autores llaman «momento eureka» («aha moment») a un ejemplo intermedio.

Los revisores trataron esta lectura con cautela. Uno escribió que otro grupo había reproducido el efecto a pequeña escala, y añadió que otro artículo sugiere que el momento eureka puede reflejar en gran parte la calidad del modelo base. Otro señaló que todas las evaluaciones puntúan solo las respuestas finales, no el texto intermedio, de modo que no se mide la coherencia de los pasos escritos. Por eso este artículo los describe como pasos intermedios que el modelo escribe, y no afirma que el modelo piense.

Lo que cubre la factura del entrenamiento

La información suplementaria enumera R1-Zero con 101.000 horas de GPU H800, 5000 horas para crear datos de ajuste fino y 41.000 horas para R1, 147.000 en total. A un precio de alquiler supuesto de 2 dólares por hora de GPU, eso suma 294.000 dólares. La ejecución usó 64 por 8 GPU H800, es decir, 512 chips, durante unas 198 horas para R1-Zero y unas 80 horas para R1. Los autores dicen que se prepararon antes con GPU A100 en un modelo de 30.000 millones de parámetros.

La cifra cubre solo las etapas de razonamiento. Scientific American, que informa para Nature, señala que se suma a los cerca de 6 millones de dólares que DeepSeek gastó en el modelo base. Las páginas suplementarias describen DeepSeek-V3 como un modelo de 671.000 millones de parámetros, 37.000 millones de ellos activos para cada token, entrenado con 14,8 billones de tokens.

Lo que pidieron los revisores y lo que cambió

El manuscrito se recibió el 14 de febrero de 2025, se aceptó el 17 de julio de 2025 y se publicó el 17 de septiembre de 2025. El editorial de Nature dice que lo revisaron ocho especialistas y que los informes y las respuestas se publicaron con él. Lewis Tunstall, de Hugging Face, uno de los revisores con nombre, dijo a Nature que la práctica era «un precedente muy bienvenido». Huan Sun, de la Universidad Estatal de Ohio, dijo: «Otras empresas deberían hacer lo mismo».

Se documentan varios cambios. Un revisor instó a los autores a reducir la descripción del texto intermedio del modelo en términos humanos. Los autores eliminaron la redacción y, en su respuesta, reconocieron que los patrones de apariencia humana pueden llevar a los usuarios a confiar demasiado en la salida, y añadieron ese riesgo al texto revisado. Los revisores también preguntaron por la contaminación, cuando las preguntas de prueba se filtran en los datos de entrenamiento (las auditorías de los bancos de pruebas de la IA muestran por qué las cifras de los fabricantes se leen con cuidado). Según el editorial de Nature, DeepSeek aportó detalles de sus salvaguardas y añadió evaluaciones en bancos de pruebas publicados después del lanzamiento del modelo. Las páginas suplementarias dan un 75 % en AIME 2025 frente a un 80 % de o1-1217 de OpenAI, y 143,7 sobre 150 en el concurso AMC 12 2024 frente a 141,0 de o1-1217, todo en pruebas del propio DeepSeek. También admiten que el filtrado por n-gramas usado contra la contaminación no puede detectar preguntas de prueba parafraseadas, por lo que los bancos de pruebas publicados antes de 2024 aún podrían verse afectados.

Un tercer cambio fue una sección de seguridad. El editorial de Nature dice que los revisores señalaron la falta de información sobre las pruebas de seguridad, y el artículo ahora compara R1 con modelos rivales; concluye que el nivel de seguridad inherente de R1 es moderado, comparable al de GPT-4o del 13 de mayo de 2024. Sobre la cuestión de los datos de OpenAI, Scientific American informa de que DeepSeek dijo a los revisores que R1 no aprendió copiando ejemplos de razonamiento generados por modelos de OpenAI, aunque reconoció que su modelo base se entrenó con páginas web que contendrán texto generado por IA. Sun calificó la refutación de «tan convincente como lo que podríamos ver en cualquier publicación»; Tunstall dijo que no podía estar del todo seguro, pero que los intentos de réplica de otros laboratorios sugieren que la receta funciona sin eso. Los datos de entrenamiento en sí no se publicaron, un límite que un revisor señaló para la reproducibilidad.

Lo que los autores enumeran como no resuelto

La propia sección de limitaciones del artículo nombra varias. La salida estructurada de R1 es más débil que la de los modelos existentes, y no puede usar herramientas como buscadores o calculadoras. A veces gasta muchos tokens en preguntas fáciles. Está ajustado para chino e inglés y puede razonar en inglés aunque se le pregunte en otro idioma. Las indicaciones con pocos ejemplos lo empeoran, así que los autores recomiendan describir el problema directamente. Como las pruebas de ingeniería de software tardan mucho en ejecutarse, el aprendizaje por refuerzo a gran escala apenas se aplicó ahí, y R1 no muestra una gran mejora sobre DeepSeek-V3 en esos bancos de pruebas.

El método necesita un verificador fiable. En tareas como la escritura, donde ninguna regla puede puntuar la respuesta, los autores usaron datos anotados por humanos y solo cientos de pasos de refuerzo. Una recompensa basada en un modelo para datos generales se limitó a los últimos 400 de los 1700 pasos de la segunda etapa, porque una exposición más larga llevaba al hackeo de la recompensa.

Share
Copied!

Fuentes y lecturas adicionales

  1. Guo and others (DeepSeek-AI): DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning, Nature 645, 633 to 638 (17 September 2025)
  2. Nature: Supplementary Information for the DeepSeek-R1 paper (cost table, evaluation settings, decontamination, fresh test sets)
  3. Nature: Peer Review File for the DeepSeek-R1 paper (referee reports and author responses)
  4. arXiv: DeepSeek-R1, Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (arXiv:2501.12948, submitted 22 January 2025, revised 4 January 2026)
  5. Ippolito and Zhang, Nature News and Views: AI can learn to show its workings through trial and error (17 September 2025)
  6. Nature editorial: Bring us your LLMs, why peer review is good for AI models (17 September 2025)
  7. Gibney, Scientific American (with Nature): Secrets of DeepSeek AI model revealed in landmark paper (17 September 2025)
  8. Wei and others (Google): Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (arXiv:2201.11903, 28 January 2022)
  9. Kojima and others: Large Language Models are Zero-Shot Reasoners (arXiv:2205.11916, 24 May 2022)
  10. Lightman and others (OpenAI): Let's Verify Step by Step (arXiv:2305.20050, 31 May 2023)
  11. Shao and others (DeepSeek): DeepSeekMath, Pushing the Limits of Mathematical Reasoning in Open Language Models (arXiv:2402.03300, 5 February 2024)
  12. DeepSeek: DeepSeek-R1 model card on Hugging Face (MIT licence, evaluation table)
  13. DeepSeek API Docs: DeepSeek-R1 Release (20 January 2025)

Investigado y escrito con ayuda de herramientas de IA, y editado para verificar su exactitud. Se ofrece solo como información general y para el debate, no como asesoramiento profesional. Consulta nuestros criterios editoriales y nuestro aviso legal. ¿Has visto un error? Dínoslo.

#reasoning models#deepseek-r1#chain of thought#reinforcement learning#grpo#peer review#nature#ai training

¿Te ha gustado? Recibe el siguiente.

Una buena lectura cada vez, directa a tu correo. Sin spam, cancela cuando quieras.

Más en IA y tecnología
El modelo de IA de Google DeepMind para ciclones promedió un error de 230 kilómetros en la trayectoria a cinco días, frente a 370 del conjunto europeo, en un artículo de Nature, y sus propios autores llaman a la intensificación rápida un problema sin resolver
El modelo se evaluó con tormentas que nunca había visto, y la comprobación en vivo cubre el Atlántico y el Pacífico oriental. Bangladés, Myanmar y la India registraron el 84% de las muertes por ciclones de 1970 a 2019 según el recuento de la OMM, y el océano Índico norte aparece en el suplemento como un panel de mapa con etiqueta.
Ocho autores de Google publicaron el artículo del Transformer el 12 de junio de 2017, y su modelo grande obtuvo 28,4 BLEU del inglés al alemán tras 3,5 días con ocho GPU
Un recorrido por el diseño que hay detrás de los chatbots de hoy, con las tablas del propio artículo y el ejemplo de Google de una palabra que tiene que mirar a un río. También cubre las partes del diseño de 2017 que los modelos posteriores conservaron, cambiaron o descartaron.
Bharat-VISTAAR, puesto en marcha en Jaipur el 17 de febrero de 2026, permite a un agricultor consultar a un asesor de IA por llamada telefónica al 155261 y se nutre de datos de ICAR, IMD, Agmarknet y AgriStack
Una llamada al 155261 llega a un asesor de IA alimentado con guías de prácticas de ICAR y datos meteorológicos y de mercados mayoristas. Los comunicados del lanzamiento, el plan de idiomas y las cifras de uso publicadas hasta ahora, con fechas y fuentes.
← todos los artículos