Meta entrenó Llama 3 405B con 15,6 billones de tokens y 30,84 millones de horas de GPU, y los evaluadores humanos de OpenAI prefirieron un modelo ajustado de 1.300 millones de parámetros al GPT-3 de 175.000 millones

El modelo insignia Llama 3 de Meta tiene 405.000 millones de parámetros, los números ajustables que hay dentro de una red neuronal, y aprendió de 15,6 billones de tokens, que son fragmentos de texto de unas pocas letras. La ficha de modelo de Llama 3.1 cifra ese único modelo en 30,84 millones de horas de GPU en chips H100 de Nvidia, y la familia entera de tres tamaños en 39,3 millones. El artículo que lo describe, fechado el 23 de julio de 2024, dice que el modelo de 405B se entrenó con hasta 16.000 H100. (El artículo de Meta usa el nombre Llama 3 para los modelos 3.1, y este texto también.)

El artículo de Meta divide el trabajo en dos etapas. El preentrenamiento enseña a la red el lenguaje prediciendo la siguiente palabra a una escala enorme. El posentrenamiento la ajusta después para que siga instrucciones y se acerque a las preferencias humanas. Este texto recorre ambas en orden, con las cifras que los laboratorios imprimieron en sus propios artículos y fichas de modelo, e indica de dónde sale cada dato.

El texto se filtra antes de aprender nada

El texto en bruto de la web está lleno de duplicados, correo basura y desechos, así que todos los laboratorios lo limpian primero. El artículo de GPT-3 de OpenAI (2020) parte de 41 instantáneas mensuales de Common Crawl, un archivo público de la web, que cubren de 2016 a 2019. Eran 45 terabytes de texto comprimido antes de filtrar y 570 gigabytes después, unos 400.000 millones de tokens.

El filtro tenía dos partes. OpenAI entrenó un clasificador para distinguir sus colecciones de referencia, de mayor calidad, del Common Crawl en bruto, y favoreció después los documentos que el clasificador puntuaba más alto. También eliminó documentos casi duplicados, incluidas las copias compartidas entre conjuntos de datos. Los autores añaden que un error en el filtrado dejó pasar algunos solapamientos con los conjuntos de prueba de los bancos de evaluación, y que volver a entrenar era demasiado caro para corregirlo.

La cadena de procesamiento de Llama 3 es más larga. Su artículo describe la eliminación de sitios web con grandes volúmenes de datos personales o contenido para adultos, el borrado de líneas repetidas, el recuento de «palabras sucias» para detectar sitios para adultos que las listas de bloqueo no atrapan, y la puntuación de calidad con clasificadores rápidos y con otros, más lentos, basados en RoBERTa. Un detector de idiomas clasifica los documentos en 176 idiomas. Si copiar texto a esta escala es legal se está dirimiendo en los tribunales, como muestran tres fallos de 2026. La mezcla final, dice Meta, es de aproximadamente un 50 % de conocimiento general, un 25 % de matemáticas y razonamiento, un 17 % de código y un 8 % de texto multilingüe.

Dividir el texto en tokens

Una red no lee letras ni palabras enteras. Lee tokens, piezas de un vocabulario fijo. Sennrich, Haddow y Birch mostraron en 2015 que dividir las palabras raras en unidades más pequeñas, con un método llamado codificación por pares de bytes, permitía a un sistema de traducción manejar palabras que nunca había visto.

El artículo del Transformer de 2017 usó ese método con un vocabulario compartido de unos 37.000 tokens para inglés y alemán. Llama 3 usa 128.000: 100.000 del tokenizador abierto tiktoken de OpenAI más 28.000 añadidos para idiomas distintos del inglés. Meta informa de que el vocabulario mayor subió la compresión del inglés de 3,17 a 3,94 caracteres por token, de modo que el mismo cómputo de entrenamiento cubre más texto.

El preentrenamiento es predecir la siguiente palabra a muy gran escala

El diseño que lo hizo práctico es el Transformer, obra de un equipo de Google y la Universidad de Toronto que incluía a Ashish Vaswani y Noam Shazeer. Abandona el antiguo diseño recurrente, paso a paso, y se apoya en la atención, un mecanismo que permite que cada palabra de un pasaje pondere a todas las demás. El modelo grande del artículo alcanzó 28,4 BLEU, una puntuación de traducción, del inglés al alemán tras 3,5 días con ocho GPU P100. Su modelo base tenía 65 millones de parámetros y se entrenó durante 12 horas.

El preentrenamiento escaló después esa receta. GPT-3 tiene 175.000 millones de parámetros, lee una ventana de contexto de 2.048 tokens y se entrenó con 300.000 millones de tokens usando GPU V100 en un clúster de Microsoft. El artículo de InstructGPT cifra su preentrenamiento en 3.640 petaflop/s-días, una unidad equivalente a 8,64 x 10^19 operaciones de coma flotante.

Llama 3 405B tiene 126 capas y se preentrenó con 3,8 x 10^25 operaciones, casi 50 veces más que el mayor Llama 2, según Meta. El entrenamiento empezó con lotes de 4 millones de tokens y creció hasta 16 millones. En la última fase la ventana de contexto se amplió en seis pasos, de 8.000 a 128.000 tokens, y una etapa final llamada recocido (annealing) usó datos de mayor calidad.

Cuántos tokens debería ver un modelo de un tamaño dado

Un laboratorio con un presupuesto de cómputo fijo tiene que repartirlo entre un modelo más grande y más texto. El artículo de Chinchilla de DeepMind, de marzo de 2022, entrenó más de 400 modelos de entre 70 millones y más de 16.000 millones de parámetros con entre 5 y 500.000 millones de tokens. Su conclusión fue que el tamaño del modelo y los tokens de entrenamiento deben crecer a la par, de modo que cada duplicación de uno vaya acompañada de una duplicación del otro.

DeepMind lo comprobó con Chinchilla, un modelo de 70.000 millones de parámetros con 1,4 billones de tokens que usó el mismo cómputo que su Gopher de 280.000 millones de parámetros, el cual vio 300.000 millones de tokens. El artículo informa de que Chinchilla superó a Gopher y a GPT-3 en una amplia gama de tareas, con un 67,5 % en el banco de pruebas MMLU.

Meta hizo su propio ajuste. Extrapolar a 3,8 x 10^25 operaciones sugería un modelo de 402.000 millones de parámetros con 16,55 billones de tokens, y el equipo se decidió por 405.000 millones de parámetros. Por simple división, son unos 38 tokens por parámetro en Llama 3 405B, 20 en Chinchilla y menos de 2 en GPT-3.

Lo que falla a lo largo de 16.000 chips

El entrenamiento es un único trabajo sincronizado, así que una sola GPU averiada puede detenerlo todo. El artículo de Meta cuenta 466 interrupciones del trabajo en un tramo de 54 días del preentrenamiento del 405B. De ellas, 47 estaban previstas y 419 no, y alrededor del 78 % de las imprevistas se debieron a fallos de hardware confirmados o sospechados. Solo los problemas de GPU fueron el 58,7 %. Únicamente tres requirieron intervención manual, y el equipo mantuvo el tiempo efectivo de entrenamiento por encima del 90 %.

La ficha de modelo detalla la factura energética. Entrenar la familia produjo 11.390 toneladas de CO2 equivalente según la contabilidad basada en la ubicación, 8.930 de ellas por el modelo de 405B. Con el criterio basado en el mercado, Meta informa de cero, porque compensó su consumo eléctrico con energía renovable. La cuestión más amplia de la electricidad de los centros de datos se trata en este repaso de las proyecciones de la AIE y del Laboratorio de Berkeley.

El posentrenamiento convierte un predictor de texto en un asistente

Un modelo preentrenado continúa el texto. No responde preguntas de forma fiable. El artículo de InstructGPT de OpenAI expuso la solución en tres pasos. Unos contratistas escribieron respuestas de ejemplo, y el modelo se ajustó con ellas mediante aprendizaje supervisado corriente. Luego los contratistas ordenaron varias respuestas del modelo a un mismo enunciado, y se entrenó un modelo de recompensa para predecir sus clasificaciones. Por último, el modelo de lenguaje se ajustó con aprendizaje por refuerzo, usando como recompensa la puntuación del modelo de recompensa.

Los datos eran pocos. En el proyecto trabajaron unos 40 contratistas, y los tres conjuntos de datos contenían unos 13.000, 33.000 y 31.000 enunciados. El modelo de recompensa tenía 6.000 millones de parámetros. El artículo cifra el cómputo en 4,9 petaflop/s-días para el paso supervisado y 60 para la ejecución completa de aprendizaje por refuerzo con 175.000 millones de parámetros, frente a los 3.640 del preentrenamiento de GPT-3.

Con los propios enunciados de OpenAI, los evaluadores prefirieron la salida del InstructGPT de 1.300 millones de parámetros a la del GPT-3 de 175.000 millones. El InstructGPT de tamaño completo se prefirió a GPT-3 el 85 % de las veces, con un margen de 3 puntos arriba o abajo. En TruthfulQA dio respuestas veraces e informativas aproximadamente el doble de veces. En tareas de dominio cerrado, como resumir un texto dado, el contenido inventado bajó del 41 al 21 %, y la salida tóxica fue un 25 % menor aproximadamente cuando se pedía al modelo que fuera respetuoso. El artículo informa también de un «impuesto de alineación», pequeñas caídas en bancos de pruebas como SQuAD y DROP, que la mezcla de actualizaciones de preentrenamiento eliminó en buena medida.

Llama 3 usa la misma idea con un último paso distinto. Meta entrenó un modelo de recompensa con datos de preferencia humana, ajustó con ejemplos, eligió la mejor de varias respuestas muestreadas con el modelo de recompensa y aplicó después la optimización directa de preferencias (Direct Preference Optimization), en seis rondas. El artículo dice que Meta probó PPO, el algoritmo que usó InstructGPT, y comprobó que DPO requería menos cómputo a gran escala. La ficha de modelo resume la etapa como ajuste fino supervisado más aprendizaje por refuerzo con retroalimentación humana. Su tabla muestra que Llama 3.1 405B obtiene 85,2 en el banco de pruebas MMLU antes del posentrenamiento y 87,3 después.

Pruebas de seguridad y la ficha de modelo

Meta mide dos cosas tras el ajuste de seguridad. La tasa de infracción cuenta las respuestas que incumplen una política de seguridad, y la tasa de falsos rechazos cuenta las peticiones inofensivas que el modelo rechaza por error. El artículo las trata como un par, porque un modelo que rechaza todo tiene una tasa de infracción perfecta. El equipo rojo, que ataca el modelo a propósito, incluye especialistas en ciberseguridad, aprendizaje automático adversarial e IA responsable, además de expertos multilingües. Meta publicó también Llama Guard 3, un modelo aparte que filtra entradas y salidas.

El documento resumen que acompaña a una publicación es la ficha de modelo, un formato propuesto en 2018 por Margaret Mitchell y colegas para informar de los usos previstos de un modelo y de su rendimiento entre distintos grupos. La ficha de Llama 3.1 indica unos 15 billones de tokens de entrenamiento, una fecha de corte de conocimiento de diciembre de 2023, un contexto de 128.000 tokens, las horas de GPU y las emisiones citadas arriba, y los usos que Meta excluye.

Modelos indios construidos con cómputo indio

Un comunicado de la División Nacional de Gobierno Electrónico del 24 de febrero de 2026 cifra la infraestructura nacional de IA existente en 38.000 GPU, con 20.000 más por añadir. El 6 de marzo de 2026, Sarvam AI publicó dos modelos abiertos y dijo que el entrenamiento se realizó íntegramente en la India con cómputo proporcionado por la Misión IndiaAI. Sarvam informa de 16 billones de tokens para su modelo de 30.000 millones de parámetros, que activa 2.400 millones de parámetros por token, y de 12 billones para su modelo de 105.000 millones de parámetros. Su tokenizador cubre los 22 idiomas indios incluidos en la lista oficial. El programa se trata en la explicación de la Misión IndiaAI y en el texto sobre la IA en los propios idiomas de la India.

La publicación de Sarvam enumera tres fases de preentrenamiento, luego el ajuste fino supervisado y después una etapa de aprendizaje por refuerzo sobre un sistema asíncrono basado en GRPO, con recompensas que combinan comprobaciones verificables y puntuación basada en rúbricas en matemáticas, programación y uso de herramientas.