Ilustración de tuput
Español
Cuatro artículos de 2022 y 2023 redujeron la memoria que necesita un modelo de lenguaje grande, del LLM.int8 de 8 bits a GPTQ, AWQ y QLoRA de 4 bits. Esto es lo que midió cada artículo, con las cifras de sus propios autores, y qué formatos se usan hoy.
En agosto de 2022 Tim Dettmers, Mike Lewis, Younes Belkada y Luke Zettlemoyer informaron de una forma de guardar los pesos de un modelo de lenguaje en 8 bits en lugar de 16, lo que redujo a la mitad la memoria necesaria para ejecutarlo sin pérdida de precisión en sus pruebas, hasta 175.000 millones de parámetros. En octubre de 2022 un equipo de la ETH de Zúrich y el IST Austria publicó GPTQ, que bajó los pesos a 3 o 4 bits y ejecutó el modelo OPT de 175.000 millones de parámetros en una sola tarjeta gráfica de 80 GB. En mayo de 2023 el artículo de QLoRA afinó un modelo de 65.000 millones de parámetros en una sola tarjeta de 48 GB, una tarea que, según sus autores, necesita más de 780 GB en la forma ordinaria de 16 bits.
Todo esto es cuantización: guardar los números de un modelo con menos bits. La documentación de Hugging Face la describe como reducir la memoria necesaria para cargar y usar un modelo manteniendo los pesos con menor precisión e intentando conservar la mayor exactitud posible. Este artículo recorre los trabajos por orden, dice qué midió cada uno y señala qué afirmaciones proceden solo de los autores o de la empresa que vende el hardware.
Un peso es un número, y los bits deciden con qué finura se escribe
Los parámetros de un modelo de lenguaje, también llamados pesos, son los números que aprendió en el entrenamiento. GPT-3 tiene 175.000 millones. A dos bytes (16 bits) cada uno son 350 GB, la cifra que da el artículo de AWQ; el de GPTQ cuenta 326 GB porque usa gigabytes binarios. Los autores de GPTQ dicen que eso supera la capacidad incluso de la tarjeta gráfica individual de gama más alta, y el artículo de AWQ señala que la B200, más reciente, de Nvidia tiene 192 GB.
Un número de 16 bits puede tomar 65.536 patrones distintos, uno de 8 bits 256 y uno de 4 bits 16. Es aritmética simple, y es todo el trato. La entrada de NVIDIA sobre NVFP4 enumera las magnitudes que puede contener un valor de coma flotante de 4 bits: 0; 0,5; 1; 1,5; 2; 3; 4 y 6, con signo. Cada peso de una matriz tiene que redondearse a uno de esos pocos puntos, después de escalar la matriz para que su valor mayor quede en lo alto del rango.
Aquí va un ejemplo inventado, no sacado de ningún artículo. Si una fila de pesos contiene valores cercanos a 0,02 y 0,4 pero también uno de 12, al escalar a 8 bits los pasos son de unos 0,09 a lo largo del rango, y 0,02 se redondea a cero. Un solo valor grande vuelve más tosca la cuadrícula para todos los demás. Los métodos que siguen son distintas maneras de tratar ese problema.
Los formatos reales también llevan constantes de escala, así que «4 bits» es algo más que cuatro. El README de llama.cpp tabula Llama 3.1 8B: 16,0005 bits por peso y 14,96 GiB en 16 bits, 8,5008 bits y 7,95 GiB en su formato de 8 bits, Q8_0, y 4,8944 bits y 4,58 GiB en Q4_K_M, un formato de 4 bits que usan sus ejemplos. NVFP4 de NVIDIA guarda una escala de 8 bits por cada 16 valores, lo que cuenta como 4,5 bits por valor.
LLM.int8(): el 0,1 por ciento de valores que rompió los 8 bits
El artículo de LLM.int8(), presentado en NeurIPS 2022, parte de un fallo. Los métodos anteriores de 8 bits solo se habían estudiado en modelos de menos de 350 millones de parámetros, y los autores comprobaron que el redondeo simple a 8 bits fallaba al crecer los modelos. A partir de unos 6700 millones de parámetros, un puñado de dimensiones ocultas contiene valores hasta 20 veces mayores que el resto. Con 6700 millones, informan de unos 150.000 valores atípicos de este tipo por secuencia, concentrados en solo 6 dimensiones de características. Poner esas dimensiones a cero degradó la perplejidad, una puntuación en la que menos es mejor, entre un 600 y un 1000 por ciento, aunque son alrededor del 0,1 por ciento de las características.
La solución es una separación. Las dimensiones con un valor de magnitud 6 o más se multiplican en 16 bits, y el otro 99,9 por ciento, más o menos, en 8 bits, con una escala distinta para cada producto interno. En la prueba C4 del artículo, un modelo de 13.000 millones de parámetros obtuvo una perplejidad de 12,45 en 32 bits y de 19,08 con redondeo simple a 8 bits, y de 12,45 con LLM.int8(). Los autores no informan de degradación en los modelos OPT de hasta 175.000 millones de parámetros y dicen que permite usar OPT-175B y BLOOM en un solo servidor con GPU de consumo. Su software se integró en Hugging Face Transformers.
También indican un límite. El método de 8 bits puede ir más lento que el de 16 bits en modelos de menos de 6700 millones de parámetros, aunque estos caben en la mayoría de las GPU de todos modos, y es unas dos veces más rápido en las grandes multiplicaciones de matrices de un modelo de 175.000 millones de parámetros.
GPTQ: comprimir después del entrenamiento en unas cuatro horas de GPU
LLM.int8() conserva 8 bits. El artículo de GPTQ, de Elias Frantar, Saleh Ashkboos, Torsten Hoefler y Dan Alistarh, apuntó más bajo y sin reentrenar. Es un método de una sola pasada, es decir, el modelo terminado se redondea de una vez usando información aproximada de segundo orden, y los autores informan de que cuantizaron un modelo de 175.000 millones de parámetros en unas cuatro horas de GPU en una A100.
Su tabla principal es sobre OPT-175B, medida como perplejidad en WikiText2. El modelo de 16 bits obtiene 8,34. GPTQ a 4 bits obtiene 8,37, mientras que el simple redondeo al más cercano obtiene 10,54. A 3 bits el redondeo al más cercano se hunde hasta unos 7300 y GPTQ obtiene 8,68. Los autores califican la pérdida de precisión de despreciable y señalan que los modelos más grandes parecían en general más fáciles de cuantizar, con OPT-66B como excepción.
La aritmética de la memoria está en el artículo. A 3 bits OPT-175B ocupa unos 63 GB, más unos 9 GB para la caché de claves y valores pasados con 2048 tokens, así que cabe en una tarjeta de 80 GB. Los autores dicen que la ejecución en 16 bits necesita cinco tarjetas así y LLM.int8() necesita tres. También informan de una generación 3,25 veces más rápida que la de 16 bits en A100 y 4,5 veces en las A6000, más baratas, y afirman que la ganancia procede de cargar menos memoria, ya que el hardware corriente aún no podía multiplicar directamente números de 16 bits por números de 4 bits.
AWQ: proteger el 1 por ciento de los pesos, elegido mirando las activaciones
El artículo de AWQ, con Ji Lin como primer autor y Song Han, del MIT, como autor de correspondencia, parte de una observación: no todos los pesos importan igual. Mantener en 16 bits solo alrededor del 1 por ciento de los pesos reduce mucho el daño de redondear el resto a baja precisión.
La clave está en qué 1 por ciento. Su Tabla 1 usa OPT-6.7B a 3 bits con grupos de 128 pesos, puntuado en perplejidad de WikiText, donde el modelo de 16 bits obtiene 10,86 y el redondeo al más cercano 23,54. Mantener el 1 por ciento de los pesos en 16 bits, elegidos según lo grandes que sean las activaciones que los alimentan, da 11,39. Elegir la misma proporción por el tamaño de los propios pesos da 22,37, y elegirla al azar da 24,23. Los pesos salientes se encuentran a partir de los datos que fluyen por el modelo, no a partir de los pesos.
El almacenamiento mixto de 16 y 4 bits es incómodo para el hardware, así que AWQ, en cambio, escala hacia arriba los canales salientes antes de redondear, lo que alcanza puntuaciones parecidas sin la separación. Los autores lo combinan con TinyChat, un sistema de inferencia, e informan de una aceleración media de 3,2 a 3,3 veces sobre el código de 16 bits de Hugging Face en GPU de escritorio, portátil y móvil. Informan de Llama-2-70B en un solo Jetson Orin de 64 GB y de un modelo de 13.000 millones de parámetros a 30 tokens por segundo en una RTX 4070 portátil de 8 GB. Son mediciones de los autores. La revisión de 2026 del artículo enumera un Premio al Mejor Artículo de MLSys 2024.
LoRA y QLoRA: afinar un modelo congelado de 4 bits
Afinar reentrena un modelo con datos nuevos, y cuesta mucha más memoria que ejecutarlo. LoRA, de Edward Hu y sus colegas de Microsoft en junio de 2021, congeló los pesos preentrenados y entrenó en su lugar pequeñas matrices añadidas. Para GPT-3 175B los autores informan de 10.000 veces menos parámetros entrenables y 3 veces menos memoria de GPU que afinar con el optimizador Adam, con una calidad igual o mejor en los modelos que probaron y sin retraso añadido cuando el modelo se ejecuta.
QLoRA unió las dos ideas. Mantiene el modelo preentrenado congelado en 4 bits y hace pasar los gradientes a través de él hacia adaptadores LoRA. El artículo añade tres piezas. NormalFloat 4, o NF4, reparte los 16 valores disponibles para ajustarse a la forma de campana de los pesos entrenados, de modo que cada valor cubra aproximadamente el mismo número de pesos. La doble cuantización también redondea las constantes de escala, y ahorra unos 0,37 bits por parámetro, o unos 3 GB en un modelo de 65.000 millones de parámetros. Los optimizadores paginados pasan el estado del entrenamiento a la memoria de la CPU cuando la GPU se queda corta.
Los autores informan de que esto lleva el ajuste fino de 65.000 millones de parámetros de más de 780 GB a menos de 48 GB, sin pérdida frente al ajuste fino de 16 bits en las tareas que probaron. Publicaron modelos llamados Guanaco. El artículo da Guanaco 65B como de 41 GB y Guanaco 7B como de 5 GB, que según dice cabe en los teléfonos modernos.
Los formatos que se usan hoy
La página de resumen de Hugging Face, leída el 12 de noviembre de 2026, enumera 22 métodos de cuantización en su tabla de compatibilidad. La tabla incluye AWQ a 4 bits, bitsandbytes (la biblioteca a la que enlaza el artículo de QLoRA) a 4 y 8, NVFP4 a 4 y dos métodos FP8 a 8, junto con GGUF para llama.cpp y GPT-QModel, un conjunto de herramientas cuyo propio README enumera GPTQ entre sus formatos.
GGUF es el formato de archivo que usa llama.cpp, un programa para ejecutar modelos en ordenadores corrientes. Su especificación describe un único archivo que contiene los pesos y todo lo necesario para cargarlos. El README de llama.cpp dice que la cuantización encoge un modelo y puede acelerarlo, que puede costar una precisión que suele medirse en perplejidad o divergencia KL, y que la pérdida puede reducirse con una matriz de importancia, un archivo de datos que sirve para decidir qué pesos importan más.
FP8 conserva ocho bits pero los gasta como un pequeño número de coma flotante. Un artículo de 2022 de Paulius Micikevicius y 14 coautores propuso dos disposiciones, E4M3 y E5M2, e informó de que igualaban la calidad de 16 bits en ejecuciones de entrenamiento de hasta 175.000 millones de parámetros. La entrada de NVIDIA sobre NVFP4 del 24 de junio de 2025 describe un formato de 4 bits que reduce la memoria unas 3,5 veces frente a 16 bits e informa de una pérdida de precisión del 1 por ciento o menos frente a FP8 en DeepSeek-R1-0528 en siete evaluaciones. Esa cifra es la prueba de NVIDIA de su propio formato.
En qué se apoya cada afirmación
Todos los resultados anteriores corresponden a un modelo concreto y a una prueba concreta. Las cifras de GPTQ son perplejidad en OPT y BLOOM, las tablas de AWQ usan OPT y Llama-2, y la cifra de NVFP4 es de un solo modelo. La perplejidad mide lo bien que el modelo predice texto, y no es lo mismo que lo útil que resulta el modelo para un usuario. El propio README de llama.cpp dice que un modelo cuantizado puede perder precisión.
La cifra más citada de QLoRA es 99,3 por ciento. Es la puntuación de Guanaco 65B relativa a ChatGPT en el banco de pruebas Vicuna, una prueba de 80 instrucciones en la que GPT-4 actúa de juez y puntúa ambas respuestas, con un intervalo de confianza del 95 por ciento de más o menos 4,4 puntos en la tabla del artículo. Los autores dicen que los intervalos son muy amplios en toda la tabla y que muchos modelos se solapan, y concluyen que los bancos de pruebas actuales de chatbots no son fiables para medir el rendimiento de un chatbot. El problema se trata en el artículo sobre los bancos de pruebas de la IA. Cómo se hicieron los modelos que se comprimen se explica en el explicativo sobre el entrenamiento de un modelo de lenguaje grande.
Modelos pequeños para dispositivos indios
La entrada de Sarvam AI del 14 de febrero de 2026 que anuncia Sarvam Edge dice que sus modelos están diseñados para funcionar en los dispositivos que la gente ya tiene. Enumera un modelo de traducción de unos 150 millones de parámetros y unos 334 MB en el dispositivo, que cubre 10 idiomas indios e inglés, y no dice qué formato de cuantización usa, si usa alguno. El panorama en los teléfonos está en el repaso de los modelos pequeños en teléfonos, y el impulso más amplio, en el artículo sobre la IA de la India en sus propios idiomas.
Fuentes y lecturas adicionales
- Dettmers, Lewis, Belkada and Zettlemoyer: LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale (arXiv:2208.07339, NeurIPS 2022)
- Frantar, Ashkboos, Hoefler and Alistarh: GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers (arXiv:2210.17323, ICLR 2023)
- Lin et al.: AWQ, Activation-aware Weight Quantization for LLM Compression and Acceleration (arXiv:2306.00978, MLSys 2024)
- Dettmers, Pagnoni, Holtzman and Zettlemoyer: QLoRA, Efficient Finetuning of Quantized LLMs (arXiv:2305.14314, 23 May 2023)
- Hu et al.: LoRA, Low-Rank Adaptation of Large Language Models (arXiv:2106.09685, 17 June 2021)
- Micikevicius et al.: FP8 Formats for Deep Learning (arXiv:2209.05433, 12 September 2022)
- Hugging Face: Transformers documentation, Quantization overview
- ggml-org: llama.cpp quantize tool README
- ggml-org: GGUF file format specification
- NVIDIA Technical Blog: Introducing NVFP4 for Efficient and Accurate Low-Precision Inference (24 June 2025)
- Sarvam AI: Announcing Sarvam Edge (14 February 2026)
Investigado y escrito con ayuda de herramientas de IA, y editado para verificar su exactitud. Se ofrece solo como información general y para el debate, no como asesoramiento profesional. Consulta nuestros criterios editoriales y nuestro aviso legal. ¿Has visto un error? Dínoslo.
¿Te ha gustado? Recibe el siguiente.
Una buena lectura cada vez, directa a tu correo. Sin spam, cancela cuando quieras.