Skip to content
Mamba guarda un resumen continuo de tamaño fijo donde la atención relee cada palabra, y los híbridos de ambos funcionan ya en Granite 4.0 de IBM, los modelos Nemotron de NVIDIA, Jamba y Saaras V4 de Sarvam
IA y tecnología

Mamba guarda un resumen continuo de tamaño fijo donde la atención relee cada palabra, y los híbridos de ambos funcionan ya en Granite 4.0 de IBM, los modelos Nemotron de NVIDIA, Jamba y Saaras V4 de Sarvam

Ilustración de tuput

Español

Granite 4.0-H-Small, de IBM, tiene 36 capas Mamba-2 y solo 4 capas de atención, y IBM dice que el diseño reduce en más de un 70% la memoria necesaria para entradas largas. La idea va de un artículo de 2021 llamado S4 a Mamba en 2023 y a los híbridos de AI21, Zyphra, NVIDIA, IBM y Sarvam.

· · 12 min de lectura

Granite 4.0-H-Small, de IBM, publicado el 2 de octubre de 2025 con licencia Apache 2.0, tiene 32.000 millones de parámetros (los números ajustables que un modelo aprende en el entrenamiento), y su ficha de modelo en Hugging Face enumera 36 capas Mamba-2 y solo 4 capas de atención. IBM dice que el diseño necesita más de un 70% menos de memoria que los modelos transformadores convencionales cuando la entrada es larga o se atiende a muchos usuarios a la vez.

Mamba es una forma de construir un modelo de lenguaje que no relee cada palabra anterior. Albert Gu y Tri Dao lo publicaron el 1 de diciembre de 2023, y los modelos que lo mezclan con unas pocas capas de atención proceden ya de AI21, Zyphra, NVIDIA, IBM y, para el reconocimiento de voz, Sarvam, en la India. Este artículo sigue los artículos científicos y las páginas de los fabricantes detrás de cada paso y señala toda cifra de velocidad o de memoria que sea del propio fabricante.

Lo que cuesta la atención a medida que el texto se alarga

La mayoría de los chatbots son transformadores, y el núcleo de un transformador es la atención, el paso en el que cada palabra se compara con las que la preceden. Nuestra explicación del artículo del transformador de 2017 cuenta cómo funciona.

El coste aparece cuando el texto crece. El artículo de Nemotron-H de NVIDIA dice que, para generar un token (una palabra o un trozo de palabra), una capa de autoatención hace un trabajo que crece con el número de tokens vistos hasta ese momento, y además debe conservar un almacén de resultados anteriores, la caché KV, cuyo tamaño crece en proporción a la longitud del texto. Nuestro artículo sobre DeepSeek V4.1-Flash explica la caché KV con detalle. IBM lo dice de otra manera: si la longitud de la entrada se duplica, un transformador debe hacer cuatro veces más cálculos sobre toda la entrada.

Un cuaderno de tamaño fijo

Imagine a un lector al que se permite un solo cuaderno de tamaño fijo. Después de cada palabra, decide qué anotar y qué borrar, y nunca vuelve a mirar el texto en sí. El cuaderno nunca crece, así que cada palabra nueva cuesta el mismo esfuerzo tanto si el texto tiene diez palabras como un millón. El precio es que lo que el cuaderno no guardó se pierde.

Esa analogía es de este artículo. Gu y Dao la plantean en su artículo de Mamba como comprimir el contexto en un estado más pequeño: la atención, escriben, es eficaz e ineficiente porque no comprime el contexto en absoluto, mientras que un modelo recurrente con un estado finito es eficiente pero está limitado por lo bien que ese estado retiene el contexto. En un modelo de espacio de estados, el «estado» es el cuaderno.

S4 en 2021: capas de espacio de estados que alcanzan secuencias muy largas

Los modelos de espacio de estados vienen de la ingeniería de control, y en 2021 tenían una debilidad conocida. Gu, Goel y Ré (Stanford) escribieron en el resumen de su artículo de S4, publicado el 31 de octubre de 2021, que los modelos convencionales «tienen dificultades para escalar a secuencias muy largas de 10.000 pasos o más», y que el enfoque anterior de espacio de estados era demasiado costoso en cómputo y memoria para usarlo en general. S4 cambió la forma de configurar la capa para que pudiera calcularse con mucha más eficiencia.

Los autores informan de una exactitud del 91% en CIFAR-10 secuencial (una prueba de clasificación de imágenes leídas como una sola secuencia larga) sin aumento de datos, a la par de una ResNet 2-D mayor. También informan de que resolvieron Path-X, una tarea con secuencias de longitud 16.000 en la que, en sus palabras, fracasan todos los trabajos anteriores, y de una generación 60 veces más rápida que los transformadores en tareas de modelado de imágenes y de lenguaje, cerrando gran parte de la brecha de calidad. Son resultados de los autores.

Mamba en 2023: dejar que el modelo elija qué conservar

La capa S4 aplicaba las mismas reglas fijas a cada entrada. El cambio de Gu y Dao fue hacer que los parámetros de la capa dependieran de la entrada actual, de modo que el modelo pueda, en sus palabras, «propagar u olvidar información de forma selectiva» a lo largo de la secuencia. El artículo lo combina con un algoritmo adaptado al hardware que calcula la capa con eficiencia en una GPU (un procesador gráfico, el chip que ejecuta la mayor parte del trabajo de IA) y con una red simplificada que no usa ni atención ni los habituales bloques de propagación hacia delante.

El artículo informa de que la memoria y el cómputo crecen de forma lineal con la longitud de la secuencia en el entrenamiento y de que cada paso de generación tarda un tiempo constante porque no hay caché de elementos anteriores. En su prueba de velocidad, ejecutada en una GPU A100 de 80 GB con una consigna de 2.048 tokens y 128 tokens generados, Mamba alcanzó de 4 a 5 veces el rendimiento de inferencia (palabras producidas por segundo) de un transformador de tamaño similar, en parte porque, sin caché KV, podía usar lotes mucho mayores. El resumen lo redondea a 5 veces. Los autores también informan de que su Mamba de 3.000 millones de parámetros superó a transformadores del mismo tamaño y igualó a otros del doble, en sus pruebas. Publicaron el código y los puntos de control entrenados.

Mamba-2 en 2024: la atención y los modelos de espacio de estados resultan ser parientes cercanos

El segundo artículo de Dao y Gu, publicado el 31 de mayo de 2024 con el título «Transformers are SSMs», sostiene que las dos familias están estrechamente emparentadas. Su marco de «dualidad del espacio de estados» conecta los modelos de espacio de estados y las variantes de la atención mediante una clase de matrices estructuradas. El resultado práctico es Mamba-2, cuya capa central, dicen los autores, es de 2 a 8 veces más rápida que la de Mamba y puede contener un resumen continuo mucho mayor. Informan de que un Mamba-2 de 2.700 millones de parámetros entrenado con 300.000 millones de tokens del Pile, una colección de texto abierta, superó al Mamba original de 2.800 millones y a los modelos Pythia de 2.800 y 6.900 millones entrenados con los mismos datos.

Por qué el cuaderno no basta por sí solo

Un cuaderno fijo puede perder detalle, y por eso los híbridos conservan algo de atención. El artículo de Jamba lo probó directamente. Con 1.300 millones de parámetros y 250.000 millones de tokens de entrenamiento, un modelo de atención pura, un modelo Mamba puro y una mezcla puntuaron así en IMDB, una prueba de etiquetar reseñas de películas como positivas o negativas.

ModeloIMDBQuACNarrativeQA
Solo atención84,127,945,8
Solo Mamba48,820,227,7
Atención y Mamba combinadas90,926,643,7

QuAC y NarrativeQA son pruebas de preguntas y respuestas. Los autores de Jamba informan de que el modelo Mamba puro rompía a menudo el formato de respuesta en IMDB, contestando cosas como «Very Good» o «3/10» en lugar de las dos etiquetas permitidas, y lo vinculan con el aprendizaje en contexto, la capacidad de captar una tarea a partir de ejemplos en la consigna. Con 7.000 millones de parámetros tras 50.000 millones de tokens, encontraron que Mamba puro era «bastante competitivo» pero algo por detrás de la atención, y el modelo mixto por delante de ambos. El informe de Zamba2 y el anuncio de IBM señalan lo mismo, que los modelos de espacio de estados puros rinden menos en el aprendizaje en contexto.

El artículo de Mamba-2 probó cuánta atención necesita un híbrido. En un modelo de 350 millones de parámetros con 48 capas, la perplejidad (una medida de cuánto se sorprende el modelo ante texto real, donde menos es mejor) fue de 8,60 para Mamba-2 puro, 8,68 para una receta totalmente transformadora y 8,26 con seis capas de atención. Los autores encontraron que lo mejor era que cerca del 10% de las capas fueran de atención. Sugieren, como hipótesis, que las capas de espacio de estados se encargan del procesamiento general de la secuencia mientras que las capas de atención funcionan como una consulta que puede saltar a tokens anteriores en lugar de obligar al modelo a comprimirlo todo en su estado.

Cuatro híbridos en palabras de sus fabricantes

La tabla da la proporción de atención que declara cada fuente. Las fuentes cuentan las capas de forma distinta (Nemotron-H, por ejemplo, enumera aparte las capas de propagación hacia delante), así que las proporciones son parecidas pero no medidas idénticas.

ModeloFechaAtención en la pila, según lo declara la fuente
Jamba (AI21)28 de marzo de 20241 capa de atención por cada 7 capas Mamba
Zamba2 (Zyphra)22 de noviembre de 2024Columna vertebral Mamba-2 con uno o dos bloques de atención compartidos, cuyos pesos se reutilizan
Nemotron-H (NVIDIA)4 de abril de 2025cerca del 8% de las capas: 4 de 52 en el modelo de 8B, 10 de 118 en el de 56B
Granite 4.0-H (IBM)2 de octubre de 20254 capas de atención y 36 Mamba-2 en los tres tamaños híbridos, una proporción de 9 a 1

Jamba intercala capas de atención y de Mamba y añade mezcla de expertos (un diseño en el que cada palabra se dirige a unas pocas subredes, tratado en nuestra explicación). El modelo publicado tiene 52.000 millones de parámetros en total, 12.000 millones activos a la vez, y admite 256.000 tokens de contexto con licencia Apache 2.0. La tabla del artículo sitúa la caché KV a 256.000 tokens en números de 16 bits en 4 GB para Jamba, frente a 32 GB para Mixtral y 128 GB para Llama-2 6.7B. Los autores también informan de 3 veces el rendimiento de Mixtral a 128.000 tokens en cuatro GPU A100. AI21 llama a Jamba el primer modelo basado en Mamba de nivel de producción, que es una descripción de la propia empresa.

Zamba2, de Zyphra, viene en tamaños de 1.200, 2.700 y 7.400 millones de parámetros. El informe dice que los pesos son abiertos con licencia Apache 2.0, que el conjunto de datos de entrenamiento (Zyda-2) también es abierto y que los modelos se entrenaron con hasta tres billones de tokens. Zyphra dice que los modelos igualan o superan a los principales modelos de pesos abiertos de su tamaño, con mejoras en latencia, rendimiento y uso de memoria, lo cual es una comparación de la propia empresa.

El artículo de Nemotron-H de NVIDIA dice que sustituyó la mayoría de las capas de atención por capas Mamba que necesitan memoria constante por cada token generado. NVIDIA informa de una inferencia de hasta 3 veces más rápida que la de transformadores de tamaño similar con una exactitud similar. La prueba usó una entrada de 65.536 tokens y 1.024 tokens generados en GPU H100, la implementación temprana propia de NVIDIA para Nemotron-H, y el software de servicio vLLM para los modelos de comparación. Para el modelo de 56B, NVIDIA midió 2,4 veces la producción por GPU de Qwen-2.5-72B y Llama-3.1-70B. El artículo añade que los transformadores llevan años muy optimizados y que espera nuevas aceleraciones para Nemotron-H.

La familia Nemotron 3, posterior, de NVIDIA usa un diseño híbrido Mamba-Transformer de mezcla de expertos, según la página de la familia (publicada el 15 de diciembre de 2025) y su libro blanco (24 de diciembre de 2025). La página enumera un contexto de hasta 1 millón de tokens y describe el modelo Nano como de 31.600 millones de parámetros en total con 3.200 millones activos. NVIDIA informa de 3,3 veces el rendimiento de Qwen3-30B-A3B con 8.000 tokens de entrada y 16.000 de salida en una sola GPU H200. La página, leída el 19 de noviembre de 2026, lleva una actualización que dice que Nemotron 3 Ultra está publicado y no da fecha para ello.

Granite 4.0 de IBM tiene tres modelos híbridos: H-Small (32.000 millones de parámetros, 9.000 millones activos), H-Tiny (7.000 millones, 1.000 millones activos) y H-Micro (3.000 millones, denso), más un transformador convencional de 3.000 millones de parámetros para plataformas que aún no pueden ejecutar híbridos. IBM dice que los híbridos no usan codificación posicional, la señal añadida que le indica a un transformador el orden de las palabras, porque Mamba lee los tokens en orden. IBM dice también que el diseño híbrido contribuye a la eficiencia, pero que la mayor parte de las mejoras de exactitud de Granite 4.0 sobre Granite 3.3 proceden de mejores datos y métodos de entrenamiento, ya que incluso su modelo convencional de 3B supera al antiguo de 8B. La cifra del 70% de memoria es una afirmación de IBM frente a los modelos transformadores convencionales.

Saaras V4 de Sarvam

Sarvam publicó Saaras V4 el 25 de septiembre de 2026. Su entrada dice que el sistema de reconocimiento de voz combina un codificador de audio con un decodificador de modelo de lenguaje de 3.000 millones de parámetros, descrito como un «modelo híbrido de espacio de estados» entrenado desde cero en la propia empresa. La entrada no nombra a Mamba ni el diseño exacto de las capas, ofrece Saaras V4 mediante una API REST y una API por lotes, y no describe una publicación de los pesos del modelo. Nuestro artículo sobre Saaras V4 trata sus 22 lenguas y los resultados de las pruebas.

Lo que las fuentes no muestran

Todas las cifras de velocidad anteriores son del propio fabricante y se midieron en un modelo distinto, con hardware distinto y frente a referencias distintas: 5 veces en el artículo de Mamba, de 2 a 8 veces para la capa Mamba-2, 3 veces en Nemotron-H y 3,3 veces para Nemotron 3 Nano. No son comparables entre sí, y este artículo no las suma.

Ninguna de las páginas abiertas da una comparación directa independiente de un híbrido con un transformador puro a la escala de los mayores modelos actuales, y ninguna dice que un producto de chat de otro laboratorio use capas Mamba. La arquitectura de Saaras V4 es la descripción que hace Sarvam de su propio sistema. El anuncio de Granite 4.0 dice que sus modelos se entrenaron con muestras de hasta 512.000 tokens de longitud y se validaron en tareas de hasta 128.000 tokens.

Share
Copied!

Fuentes y lecturas adicionales

  1. arXiv: Gu, Goel and Ré, Efficiently Modeling Long Sequences with Structured State Spaces (S4, 31 October 2021)
  2. arXiv: Gu and Dao, Mamba: Linear-Time Sequence Modeling with Selective State Spaces (1 December 2023)
  3. arXiv: Dao and Gu, Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (31 May 2024)
  4. arXiv: Lieber et al., Jamba: A Hybrid Transformer-Mamba Language Model (28 March 2024)
  5. AI21: Introducing Jamba (28 March 2024)
  6. arXiv: Glorioso et al., The Zamba2 Suite: Technical Report (Zyphra, 22 November 2024)
  7. arXiv: NVIDIA, Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models (4 April 2025)
  8. NVIDIA Research: NVIDIA Nemotron 3 Family of Models (published 15 December 2025)
  9. arXiv: NVIDIA, NVIDIA Nemotron 3: Efficient and Open Intelligence (24 December 2025)
  10. IBM: IBM Granite 4.0, hyper-efficient, high performance hybrid models for enterprise (2 October 2025)
  11. Hugging Face: ibm-granite/granite-4.0-h-small model card
  12. Sarvam AI: Introducing Saaras V4 (25 September 2026)

Investigado y escrito con ayuda de herramientas de IA, y editado para verificar su exactitud. Se ofrece solo como información general y para el debate, no como asesoramiento profesional. Consulta nuestros criterios editoriales y nuestro aviso legal. ¿Has visto un error? Dínoslo.

#mamba#state space models#hybrid models#jamba#nemotron#ibm granite#sarvam ai#long context

¿Te ha gustado? Recibe el siguiente.

Una buena lectura cada vez, directa a tu correo. Sin spam, cancela cuando quieras.

Más en IA y tecnología
Ocho autores de Google publicaron el artículo del Transformer el 12 de junio de 2017, y su modelo grande obtuvo 28,4 BLEU del inglés al alemán tras 3,5 días con ocho GPU
Un recorrido por el diseño que hay detrás de los chatbots de hoy, con las tablas del propio artículo y el ejemplo de Google de una palabra que tiene que mirar a un río. También cubre las partes del diseño de 2017 que los modelos posteriores conservaron, cambiaron o descartaron.
DeepSeek V4.1-Flash, un modelo de pesos abiertos de 552.000 millones de parámetros publicado el 10 de septiembre de 2026, reduce su caché de memoria por token a 890 bytes, cerca de una cuarta parte de la de su predecesor
La memoria a corto plazo de un modelo sobre una conversación larga es cara de mantener. El lanzamiento de septiembre de DeepSeek la comprime por diseño, y su propio informe dice dónde el modelo aún se queda atrás. Aquí están el mecanismo, la cronología desde 2024 y lo que han comprobado terceros.
El modelo de 105 mil millones de parámetros de Sarvam calcula con 10,3 mil millones por cada token, con el diseño de mezcla de expertos que va de un artículo de 1991 a Mixtral y DeepSeek
Un pequeño enrutador envía cada palabra a unas pocas de 128 subredes, de modo que la mayor parte del modelo queda inactiva para cada palabra. De dónde salió el diseño, cómo lo usan Mixtral, DeepSeek y Sarvam, y qué es lo que no ahorra.
← todos los artículos