Ilustración de tuput
Español
El artículo de 2017 abandonó la lectura palabra por palabra y dejó que cada palabra de una frase mire a todas las demás a la vez. Su modelo grande superó en más de 2 BLEU los mejores resultados anteriores del inglés al alemán, y sus propios creadores describen Llama 3, Gemini 1.0, DeepSeek-V3 y Sarvam 105B como Transformers.
El 12 de junio de 2017, ocho investigadores publicaron en el servidor de preprints arXiv un artículo titulado «Attention Is All You Need». Describía el Transformer, una red «basada únicamente en mecanismos de atención, prescindiendo por completo de la recurrencia y las convoluciones», en palabras de su resumen. El modelo grande del artículo obtuvo 28,4 BLEU, una puntuación estándar de traducción en la que más es mejor, en la prueba WMT 2014 de inglés a alemán. El resumen dice que eso superó los mejores resultados anteriores, incluidos los conjuntos de modelos, en más de 2 BLEU, y la sección 6.1 dice que el entrenamiento llevó 3,5 días con ocho GPU Nvidia P100.
Los autores fueron Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser e Illia Polosukhin, listados bajo Google Brain, Google Research y la Universidad de Toronto. El artículo lleva una nota al pie que dice que el orden de la lista es aleatorio y que los ocho contribuyeron por igual. Se presentó en la Conferencia sobre Sistemas de Procesamiento de Información Neuronal, entonces llamada NIPS, en Long Beach, California, en 2017 (la página de las actas lo sitúa en el volumen 30). Cómo se entrena un modelo de lenguaje grande explica qué ocurre después de elegir la arquitectura. Este artículo trata de la arquitectura.
Por qué leer una palabra a la vez era un cuello de botella
Antes de 2017, los principales sistemas de traducción usaban redes neuronales recurrentes. El artículo describe cómo funcionan: una red recurrente recorre las palabras en orden y produce un resumen continuo en cada posición, calculado a partir del resumen anterior y la palabra actual. Como cada paso necesita el anterior, dice el artículo, el diseño «impide la paralelización dentro de los ejemplos de entrenamiento». Los pasos de una misma frase no podían ejecutarse en paralelo.
La entrada del blog de Google escrita por Jakob Uszkoreit, fechada el 31 de agosto de 2017, da un caso concreto. Para decidir si «bank» en «I arrived at the bank after crossing the…» significa una orilla de río o una entidad financiera, la red necesita la última palabra de la frase, «river» o «road». Una red recurrente, dice la entrada, solo puede resolverlo después de leer paso a paso todas las palabras entre «bank» y «river», y cuantos más pasos necesita una decisión, más difícil le resulta a la red aprenderla. La entrada añade que las GPU y las TPU, los chips usados para entrenar, son buenos en trabajo paralelo y malos en trabajo secuencial.
Las redes convolucionales, el otro diseño principal, son menos secuenciales. El artículo señala que en los modelos llamados ByteNet y ConvS2S el número de pasos necesarios para conectar dos palabras distantes sigue creciendo con la distancia entre ellas, de forma lineal en ConvS2S y logarítmica en ByteNet.
La atención existía antes del Transformer
La idea de la atención surgió antes y se añadió a las redes recurrentes. El 1 de septiembre de 2014, Dzmitry Bahdanau, Kyunghyun Cho y Yoshua Bengio presentaron un artículo, que luego fue ponencia oral en ICLR 2015, que atacaba una debilidad del diseño estándar. El codificador-decodificador habitual comprimía toda una frase de origen en un único vector de longitud fija antes de que el decodificador empezara a traducir. Los autores conjeturaron que eso era un cuello de botella, y dejaron que el modelo «buscara con suavidad» en la frase de origen las posiciones importantes para cada palabra que escribe. Informan de una calidad de traducción comparable a la del mejor sistema basado en frases de la época en inglés a francés.
Un año después, Minh-Thang Luong, Hieu Pham y Christopher Manning, de Stanford, probaron dos tipos de atención en la traducción inglés-alemán. Su resumen informa de una mejora de 5,0 BLEU sobre sistemas comparables sin atención, y de un modelo combinado que obtuvo 25,9 BLEU en la tarea WMT 2015 de inglés a alemán.
El artículo del Transformer expone cómo se usaba entonces la atención: «en todos los casos salvo unos pocos» iba junto a una red recurrente. Lo que propusieron los ocho autores fue conservar la atención y eliminar la parte recurrente. En la nota de contribuciones del artículo, a Uszkoreit se le atribuye haber propuesto sustituir las redes recurrentes por autoatención.
Cómo una palabra mira al resto de la frase
La autoatención es la atención aplicada dentro de una misma frase. La entrada del blog de Google la explica con el mismo ejemplo de «bank». Para calcular una mejor representación de «bank», el Transformer compara esa palabra con todas las demás de la frase. Cada comparación produce una puntuación de atención. Las puntuaciones deciden cuánto aporta cada otra palabra, de modo que «river» puede recibir una puntuación alta. Después el modelo toma un promedio ponderado de las representaciones de todas las palabras y lo pasa por una pequeña red de propagación hacia delante para producir la nueva representación. Como cada palabra puede ver directamente a todas las demás, dice la entrada, el modelo puede atender a «river» y tomar la decisión en un solo paso.
El artículo da nombre a las partes de la comparación. Una función de atención asigna una consulta y un conjunto de pares clave-valor a una salida, y la salida es una suma ponderada de los valores. El peso de cada valor sale de comparar la consulta con la clave de ese valor. Una manera de entenderlo es que cada palabra hace una pregunta (la consulta), cada palabra de la frase ofrece una etiqueta (la clave) y algo de contenido (el valor), y las etiquetas que mejor encajan aportan más contenido. La versión del artículo multiplica la consulta por las claves, divide entre la raíz cuadrada del tamaño de la clave y convierte los resultados en pesos que suman uno.
La división tiene una razón que los autores exponen como sospecha: con claves grandes los productos crecen mucho, lo que empuja la función de ponderación a una región donde aprende muy despacio. El decodificador, que escribe la traducción palabra a palabra, también se oculta a sí mismo las posiciones posteriores, de modo que una predicción solo pueda depender de palabras ya conocidas.
La entrada de Google da un segundo ejemplo, un par de frases en las que «it» se refiere al animal en una y a la calle en la otra. Al traducir al francés todo depende del género del sustantivo, y la entrada dice que «animal» y «street» difieren en género en esa lengua. Según Google, el Transformer tradujo bien ambas frases donde el modelo de Google Translate que se usaba entonces no lo hacía, y un gráfico de una cabeza de atención mostraba que la atención prestada a cada sustantivo cambiaba con el contexto. Es una demostración del propio Google con un solo par de frases, no una prueba independiente.
Ocho cabezas y un truco para el orden de las palabras
Promediar todas las palabras en una sola mezcla pierde detalle, así que el artículo ejecuta varias operaciones de atención en paralelo, lo que llama atención de varias cabezas. El modelo base usa ocho cabezas. Cada una trabaja sobre una porción de 64 números de la representación de 512, y los resultados se unen al final, de modo que el coste total se mantiene cercano al de una sola cabeza trabajando con todo el ancho.
La Tabla 3 del artículo prueba esa elección en un conjunto de desarrollo (el conjunto de pruebas de noticias de 2013 y no el de 2014). Una sola cabeza obtuvo 0,9 BLEU menos que el mejor ajuste, y la calidad también bajaba cuando había demasiadas cabezas. Los autores añaden, al hablar de la autoatención, que las cabezas individuales parecen aprender tareas distintas y que muchas parecen relacionadas con la gramática y el significado de las frases. Es una observación hecha al inspeccionar gráficos de atención, no una demostración.
Una red sin recurrencia no tiene noción del orden de las palabras, ya que todas se miran a la vez. Los autores lo resolvieron añadiendo información de posición a la representación de cada palabra, mediante ondas de seno y coseno de distintas longitudes de onda. También probaron aprender las posiciones en su lugar, y las dos versiones dieron resultados casi idénticos: 25,7 BLEU frente a 25,8 para el modelo base en el conjunto de desarrollo. Conservaron la versión con senos porque podría manejar frases más largas que cualquiera vista en el entrenamiento.
Esta es una pieza del diseño de 2017 que los modelos posteriores sustituyeron. La entrada del blog de Sarvam de marzo de 2026 incluye los embeddings posicionales rotatorios entre las características de sus modelos, y el artículo de Llama 3 de Meta dice que la empresa subió la frecuencia base de sus embeddings rotatorios a 500.000 para admitir contextos más largos.
Por qué se entrenaba más rápido
La Tabla 1 del artículo compara los tipos de capa. Una capa de autoatención conecta dos posiciones cualesquiera en un número constante de operaciones secuenciales, mientras que una capa recurrente necesita un número que crece con la longitud de la frase. El modelo base del artículo se entrenó durante 100.000 pasos, unas 12 horas, en una máquina con ocho GPU Nvidia P100. El modelo grande necesitó 300.000 pasos, 3,5 días. El blog de Google dice que el entrenamiento se aceleró hasta en un orden de magnitud, una afirmación del propio Google basada en sus experimentos.
El modelo era pequeño para los estándares posteriores. La Tabla 3 indica 65 millones de parámetros, los números ajustables dentro de una red, para el modelo base y 213 millones para el grande. El modelo insignia Llama 3 de Meta, descrito siete años después, tiene 405.000 millones, unas 1900 veces más.
La autoatención tiene su propio coste. Comparar cada palabra con todas las demás hace que el trabajo por capa crezca con el cuadrado de la longitud de la frase, y el artículo dice que la autoatención es más barata que una capa recurrente solo cuando la frase es más corta que el ancho de la representación. Los autores sugirieron limitar la atención a un vecindario de palabras cercanas para entradas muy largas, como trabajo futuro. El artículo de Meta da la misma razón para entrenar con textos largos al final: el cómputo de la autoatención crece de forma cuadrática con la longitud de la secuencia, así que Llama 3 alcanzó su contexto de 128.000 tokens en las etapas finales del preentrenamiento.
Los números, y el que difiere
Los resultados principales del artículo son sobre los conjuntos newstest2014 de la tarea de traducción WMT 2014. Para inglés a alemán, la Tabla 2 muestra el modelo grande con 28,4 BLEU frente a 26,36 de la mejor entrada anterior, un conjunto de modelos ConvS2S. Para inglés a francés, el resumen y la Tabla 2 dan 41,8 BLEU para un solo modelo, mientras que una frase de la sección 6.1 del mismo artículo dice 41,0. La tabla y el resumen coinciden entre sí y el texto difiere, así que la cifra se cita aquí como la da el resumen, señalando la discrepancia.
Los autores probaron también el modelo en otra tarea, el análisis sintáctico de constituyentes en inglés, que etiqueta la estructura gramatical de una frase. Un Transformer de cuatro capas obtuvo 91,3 F1 entrenado solo con los datos del Wall Street Journal y 92,7 con datos adicionales semisupervisados. El artículo dice que esto superó a todos los modelos anteriores publicados salvo uno, la Recurrent Neural Network Grammar. La entrada de Google dice que la misma red, con poca adaptación, superó a todos los enfoques anteriores salvo uno.
Los resultados son de los propios autores, medidos frente a cifras publicadas. El código del artículo se publicó en la biblioteca tensor2tensor, y el Annotated Transformer de Harvard NLP reimplementa el modelo línea por línea como un cuaderno ejecutable.
Qué se mantuvo y qué cambió en Llama, Gemini, DeepSeek y Sarvam
La conclusión del artículo dice que los autores planeaban extender el Transformer más allá del texto, a imágenes, audio y vídeo. La entrada de Google de 2017 decía que ese trabajo ya había empezado. En octubre de 2018, el artículo BERT de Google llamó a su modelo un codificador Transformer bidireccional de varias capas, y describió el GPT de OpenAI como un Transformer de izquierda a derecha en el que cada token atiende solo a los anteriores. El curso de Hugging Face agrupa los modelos posteriores en las familias tipo GPT, tipo BERT y secuencia a secuencia.
Los creadores de los grandes modelos actuales describen su propio trabajo en los mismos términos. El artículo de Meta dice que Llama 3 «usa una arquitectura Transformer densa estándar» y que sus mejoras vienen sobre todo de la calidad, la diversidad y la escala de los datos. Meta eligió un modelo denso frente a una mezcla de expertos por la estabilidad del entrenamiento. Entre sus pequeños cambios está la atención de consulta agrupada, con 8 cabezas de clave-valor, para reducir la memoria que el modelo conserva mientras escribe. El informe Gemini de Google dice que los modelos Gemini «se construyen sobre decodificadores Transformer» con mejoras para un entrenamiento estable y para los chips TPU de Google, y nombra entre ellas la atención de consulta múltiple.
El informe de DeepSeek-V3 dice que su arquitectura básica permanece dentro del marco Transformer, con atención latente de varias cabezas, que Sarvam describe como una forma comprimida de atención que reduce el uso de memoria, y una capa de propagación hacia delante de mezcla de expertos. El modelo tiene 671.000 millones de parámetros en total, de los cuales se usan 37.000 millones por cada token. Sarvam AI describe sus modelos de 30.000 y 105.000 millones de parámetros como una columna vertebral Transformer de mezcla de expertos con 128 expertos. El de 30B usa atención de consulta agrupada y el de 105B usa atención latente de varias cabezas. Sarvam dice que ambos se entrenaron en la India con capacidad de cómputo proporcionada por la misión IndiaAI y se publicaron con la licencia Apache 2.0, como se cuenta en el artículo sobre la Misión IndiaAI y en el texto sobre la India construyendo IA en sus propias lenguas. La traducción, la tarea para la que se creó el Transformer, es también el tema de el artículo sobre Bhashini y AI4Bharat, que trata de los modelos de traducción abiertos para las 22 lenguas indias incluidas en la lista oficial.
En todos ellos, la capa de autoatención de 2017 sigue siendo el núcleo, y los cambios están en cómo se almacenan las claves y los valores, cómo se codifican las posiciones y qué sustituye a la capa única de propagación hacia delante. El modelo grande de 2017 tenía 6 capas y 16 cabezas; el artículo de Meta da a Llama 3 405B 126 capas y 128 cabezas de atención.
Fuentes y lecturas adicionales
- Vaswani et al.: Attention Is All You Need, arXiv:1706.03762 (submitted 12 June 2017, abstract page)
- Vaswani et al.: Attention Is All You Need, full paper as presented at NIPS 2017 (PDF)
- NeurIPS Proceedings: Attention is All you Need (Advances in Neural Information Processing Systems 30, 2017)
- Google Research blog, Jakob Uszkoreit: Transformer, A Novel Neural Network Architecture for Language Understanding (31 August 2017)
- Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate, arXiv:1409.0473 (submitted 1 September 2014, ICLR 2015)
- Bahdanau, Cho and Bengio: Neural Machine Translation by Jointly Learning to Align and Translate (full paper, PDF)
- Luong, Pham and Manning, Stanford: Effective Approaches to Attention-based Neural Machine Translation, arXiv:1508.04025 (2015)
- Devlin et al., Google AI Language: BERT, Pre-training of Deep Bidirectional Transformers for Language Understanding, arXiv:1810.04805
- Gemini Team, Google: Gemini, A Family of Highly Capable Multimodal Models, arXiv:2312.11805
- Llama Team, AI @ Meta: The Llama 3 Herd of Models, arXiv:2407.21783 (23 July 2024)
- DeepSeek-AI: DeepSeek-V3 Technical Report, arXiv:2412.19437
- Sarvam AI: Open-Sourcing Sarvam 30B and 105B (6 March 2026)
- Harvard NLP and collaborators: The Annotated Transformer (line-by-line implementation of the paper)
- Hugging Face LLM Course: How do Transformers work?
Investigado y escrito con ayuda de herramientas de IA, y editado para verificar su exactitud. Se ofrece solo como información general y para el debate, no como asesoramiento profesional. Consulta nuestros criterios editoriales y nuestro aviso legal. ¿Has visto un error? Dínoslo.
¿Te ha gustado? Recibe el siguiente.
Una buena lectura cada vez, directa a tu correo. Sin spam, cancela cuando quieras.