Skip to content
Stable Diffusion, lanzado el 22 de agosto de 2022, crea una imagen de 512 por 512 a partir de ruido aleatorio en unos 50 pasos de eliminación de ruido, con una idea publicada por primera vez en un artículo de 2015 inspirado en la física
IA y tecnología

Stable Diffusion, lanzado el 22 de agosto de 2022, crea una imagen de 512 por 512 a partir de ruido aleatorio en unos 50 pasos de eliminación de ruido, con una idea publicada por primera vez en un artículo de 2015 inspirado en la física

Ilustración de tuput

Español

Seis artículos entre 2015 y 2022 llevaron una sola idea, aprender a invertir una adición lenta de ruido, de los datos de juguete a las instrucciones de texto. El lanzamiento de Stability AI puso el resultado en una tarjeta gráfica con 6,9 GB de memoria declarados, y la guía de Hugging Face describe el proceso de 50 pasos.

· · 12 min de lectura

Stability AI anunció el lanzamiento público de Stable Diffusion el 22 de agosto de 2022 y publicó los pesos, la ficha del modelo y el código. La empresa dijo que el uso final de memoria debería ser de 6,9 GB de memoria gráfica. Hugging Face, que trabajó en el lanzamiento, publicó una guía el mismo día. Describe lo que ocurre cuando un usuario escribe una instrucción: el modelo parte de ruido aleatorio en una pequeña cuadrícula de números, le quita ruido unas 50 veces mientras lee la instrucción y descodifica el resultado en una imagen de 512 por 512 píxeles.

El método que hay detrás de esos 50 pasos apareció en un artículo de marzo de 2015 que tomó ideas de la física. Este artículo lo sigue a través de seis trabajos y del propio lanzamiento. Todas las cifras de abajo son de los propios autores, medidas en su propio hardware y con sus propios conjuntos de datos. Los artículos usan conjuntos de datos y ajustes distintos, así que no se compara ninguna puntuación entre ellos.

Destruir una imagen poco a poco y luego aprender a deshacerlo

Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan y Surya Ganguli enviaron su artículo a arXiv el 12 de marzo de 2015. Su título menciona la termodinámica del no equilibrio, la física de los sistemas que están cambiando en lugar de asentados. El resumen dice que la idea esencial, inspirada en la física estadística del no equilibrio, es destruir lentamente la estructura de los datos mediante un proceso de difusión hacia adelante y luego aprender un proceso inverso que la restaura.

Tomemos el ejemplo que usa la guía de Hugging Face, una fotografía de un astronauta montado a caballo. Se añade una pizca de ruido aleatorio a la fotografía, luego otra, y se sigue así hasta que solo queda estática. El sentido directo no necesita aprendizaje. Se entrena una red neuronal para la tarea contraria: dada una versión algo más ruidosa de una imagen, producir una algo más limpia. Para crear algo nuevo, se parte de estática pura y se aplica la red una y otra vez.

Los autores de 2015 entrenaron modelos con miles de capas o pasos de tiempo. Los probaron con un swiss roll bidimensional (una nube de puntos en forma de espiral), una secuencia binaria, dígitos manuscritos de MNIST y pequeñas imágenes naturales de los conjuntos CIFAR-10, bark y dead-leaves.

Quitar un poco de ruido, mil veces

Jonathan Ho, Ajay Jain y Pieter Abbeel, de la Universidad de California en Berkeley, publicaron su artículo el 19 de junio de 2020. Escriben que, hasta donde saben, nadie había demostrado aún que los modelos de difusión pudieran generar muestras de alta calidad, y que sus resultados lo hacen. En la colección CIFAR-10 de imágenes pequeñas, generadas sin ninguna etiqueta, informan de una puntuación Inception de 9,46 y de una distancia de Fréchet Inception (FID, una puntuación en la que un valor menor significa que las imágenes generadas están estadísticamente más cerca de las reales) de 3,17, que califican de estado de la técnica en ese momento. En LSUN de 256 por 256, un conjunto de fotografías de dormitorios, iglesias y gatos, informan de una calidad de muestras similar a la de ProgressiveGAN, un generador anterior.

La receta es corta. El artículo usa 1.000 pasos y añade ruido en cantidades que crecen en incrementos iguales de 0,0001 a 0,02 por paso. En el entrenamiento, el método elige una imagen, elige un paso al azar, añade la cantidad de ruido correspondiente y pide a la red que prediga el ruido que se añadió. El muestreo parte de ruido puro. En cada uno de los 1.000 pasos, la red predice el ruido, el muestreador lo resta y, salvo en el último paso, vuelve a añadir una pequeña dosis nueva de aleatoriedad.

La red es una U-Net, un modelo de imágenes que reduce una imagen a un resumen grueso y luego la expande de nuevo, con capas de autoatención con resolución de 16 por 16. El número del paso se introduce mediante la incrustación de posición sinusoidal del artículo del Transformer, un diseño que está también detrás de los modelos de lenguaje explicados en cómo se entrena un gran modelo de lenguaje. El modelo de CIFAR-10 tiene 35,7 millones de parámetros, los números ajustables de una red, y terminó de entrenarse en 10,6 horas en un TPU v3-8, un acelerador de Google que los autores comparan con ocho GPU V100. Producir un lote de 128 imágenes de 256 por 256 llevó 300 segundos.

Un muestreo más rápido, y la misma idea como ecuación

Mil pasadas secuenciales son lentas. Jiaming Song, Chenlin Meng y Stefano Ermon, en un artículo del 6 de octubre de 2020, lo midieron: unas 20 horas para muestrear 50.000 imágenes de 32 por 32 píxeles con un DDPM en una tarjeta gráfica Nvidia 2080 Ti, frente a menos de un minuto para una GAN, el tipo de generador anterior que crea una imagen de una sola pasada. Para imágenes de 256 por 256 dan una cifra de casi 1.000 horas.

Su solución, los modelos implícitos de difusión con eliminación de ruido o DDIM, mantiene el entrenamiento exactamente igual y cambia solo la forma de extraer las muestras. Los autores informan de muestras comparables a las de los modelos de 1.000 pasos en 20 a 100 pasos, una aceleración de 10 a 50 veces, y señalan que el tiempo por muestra crece en línea recta con el número de pasos.

Siete semanas después, el 26 de noviembre de 2020, Yang Song y cinco coautores, entre ellos Sohl-Dickstein, del artículo de 2015, replantearon el proceso como una ecuación diferencial estocástica (una ecuación con movimiento aleatorio incorporado) que va de los datos al ruido, con una ecuación inversa correspondiente que va del ruido de vuelta a los datos. En sus palabras: “Creating noise from data is easy; creating data from noise is generative modeling.” Es decir: crear ruido a partir de datos es fácil; crear datos a partir de ruido es modelado generativo. Escriben que el marco engloba los enfoques anteriores basados en puntuaciones y en difusión, e informan de que generaron por primera vez imágenes de 1024 por 1024 con un modelo basado en puntuaciones.

Hacer que la imagen siga las palabras

Un generador de imágenes tiene que seguir una instrucción, y la difusión necesitaba una forma de hacerlo. El método anterior, la guía con clasificador, orienta el muestreo con un clasificador de imágenes independiente. Jonathan Ho y Tim Salimans, en un artículo publicado el 26 de julio de 2022 (una versión corta había aparecido en un taller de NeurIPS 2021), mostraron que puede hacerse sin él.

En la guía sin clasificador, una sola red se entrena en dos tareas a la vez. En una fracción de los ejemplos de entrenamiento, la etiqueta o la instrucción se sustituye al azar por un marcador vacío, de modo que la red aprende a eliminar el ruido tanto con ella como sin ella. En el momento del muestreo se combinan las dos predicciones, y un peso w fija cuánto se inclina el resultado hacia la instrucción. En ImageNet de 64 por 64 los autores probaron a eliminar la condición con probabilidad 0,1, 0,2 y 0,5, y encontraron que 0,5 era sistemáticamente peor que las otras dos. Subir el peso aumenta la calidad de cada imagen y reduce la variedad entre imágenes.

El método cuesta tiempo. Cada paso de muestreo necesita dos pasadas por la red, una con la instrucción y otra sin ella, lo que los autores señalan como una posible desventaja.

Stable Diffusion usa este método. La ficha del modelo v1-4 dice que su última etapa de entrenamiento eliminó el condicionamiento de texto el 10 por ciento de las veces, “to improve classifier-free guidance sampling”, es decir, para mejorar el muestreo con guía sin clasificador. La guía de Hugging Face da como control para el usuario guidance_scale, con un valor por defecto de 7,5 y valores de 7 a 8,5 descritos como normalmente buenos. Advierte de que los valores muy grandes dan imágenes que pueden verse bien pero son menos variadas.

Trabajar en un lienzo más pequeño

La difusión en el espacio de píxeles es cara. Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser y Björn Ommer abren su artículo del 20 de diciembre de 2021 diciendo que los modelos de difusión más potentes suelen requerir cientos de días de GPU para entrenarse. Citan de 150 a 1.000 días de V100 para un modelo anterior, y unos cinco días en una A100 para producir 50.000 muestras con un modelo así.

Su remedio es hacer la difusión en un espacio latente, es decir, un resumen numérico comprimido de la imagen. Primero se entrena un autoencoder aparte, una pareja de redes que reduce una imagen y la vuelve a expandir. La difusión ocurre entonces sobre el resumen pequeño, y el descodificador convierte el resumen terminado de nuevo en píxeles. Los autores añaden además capas de atención cruzada a la U-Net para que el texto u otras entradas puedan orientarla.

En una sola NVIDIA A100, entrenando durante 2 millones de pasos en ImageNet con el mismo número de parámetros, encontraron una diferencia de 38 puntos de FID entre la difusión en el espacio de píxeles y la difusión con un factor de compresión de 8. El artículo atribuye los resultados con factores pequeños a que se deja al propio modelo de difusión la mayor parte de la compresión del detalle imperceptible.

Stable Diffusion usa un factor de 8. La ficha del modelo dice que asigna una imagen de alto H y ancho W con tres canales de color a un latente de H/8 por W/8 con cuatro canales. Para una imagen de 512 por 512 eso es una cuadrícula de 64 por 64, que la guía de Hugging Face llama una razón de compresión espacial de 8 x 8 = 64. Por simple división, los 786.432 números de la imagen pasan a ser 16.384 números en el latente, una reducción de 48 veces en lo que la red maneja en cada paso.

La instrucción se convierte en números con el codificador de texto de CLIP (la versión ViT-L/14), que según la ficha del modelo es fijo y está preentrenado, de modo que no se entrena junto con el resto. Hugging Face describe la salida como un bloque de 77 por 768 números que la U-Net lee mediante atención cruzada.

Lo que se publicó el 22 de agosto de 2022

El anuncio de Stability AI reconoce a los equipos legal, de ética y de tecnología de Hugging Face y a ingenieros de CoreWeave, un proveedor de nube. El modelo salió con una licencia Creative ML OpenRAIL-M, que la empresa describe como permisiva para uso comercial y no comercial, que hace al usuario responsable del uso ético y legal y que exige que la licencia acompañe cualquier distribución. Se incluyó por defecto un clasificador de seguridad para eliminar resultados no deseados. Los pesos recomendados eran los v1.4, y la empresa dijo que se recomendaban chips de NVIDIA, con compatibilidad con chips de AMD y Apple M1 y M2 por venir. La página que publicó la empresa muestra la fecha como “Aug 22” sin año, y la guía de Hugging Face sobre el mismo lanzamiento lleva la fecha 22 de agosto de 2022.

La ficha del modelo nombra a Robin Rombach y Patrick Esser como desarrolladores y dice que Stable Diffusion v1 se entrenó con LAION-2B(en) y subconjuntos de este. El artículo de LAION-5B del 16 de octubre de 2022 describe 5.850 millones de pares imagen-texto filtrados con CLIP, de los cuales 2.320 millones tienen texto en inglés. En cuanto al hardware, la ficha enumera 32 x 8 GPU A100, y para su estimación de emisiones 150.000 horas en tarjetas A100 PCIe 40GB en una región de Amazon Web Services del este de Estados Unidos, que cifra en 11.250 kg de CO2 equivalente. Son estimaciones de la propia ficha.

Los pasos importan en la práctica. En la guía de Hugging Face, el valor por defecto son 50 pasos de eliminación de ruido, y una ejecución con 15 mantuvo la misma estructura general pero tuvo problemas en el traje del astronauta y en la forma del caballo.

Lo que la ficha del modelo dice que no puede hacer

La guía de Hugging Face dice que versiones posteriores, la 1.5, la 2 y la 2.1, funcionan con cambios mínimos de código. Este artículo describe solo la v1-4 y los artículos hasta 2022. La ficha de la v1-4, escrita por Rombach y Esser, es concreta sobre los límites de esta versión. El modelo no logra un fotorrealismo perfecto y no puede representar texto legible. No rinde bien en tareas de composición como “a red cube on top of a blue sphere”, un cubo rojo sobre una esfera azul, y los rostros y las personas pueden no generarse correctamente.

La ficha dice que el modelo se entrenó sobre todo con descripciones en inglés y funciona peor en otros idiomas, y que el autoencoder tiene pérdidas. También informa de que los datos no se desduplicaron, de modo que algunas imágenes que aparecen muchas veces en el conjunto de entrenamiento se memorizan, y remite a una herramienta pública de búsqueda para comprobarlo. El conjunto de entrenamiento, añade, contiene material para adultos, y la ficha califica ese conjunto de datos de no apto para uso en productos sin mecanismos de seguridad adicionales. Si es lícito entrenar con esos datos lo están decidiendo los tribunales, como muestran tres sentencias de 2026 sobre el entrenamiento de la IA. La ficha incluye la suplantación de identidad y la desinformación entre los usos indebidos; las normas sobre las falsificaciones de IA en las elecciones se tratan en este repaso de la FCC, la UE y la India.

El muestreador de 2020 usaba 1.000 pasos para cada imagen que creaba. La guía de Hugging Face del 22 de agosto de 2022 considera que 50 pasos suelen bastar para una imagen de 512 por 512 de alta calidad.

Share
Copied!

Fuentes y lecturas adicionales

  1. Sohl-Dickstein, Weiss, Maheswaranathan and Ganguli: Deep Unsupervised Learning using Nonequilibrium Thermodynamics (arXiv:1503.03585, 12 March 2015)
  2. Ho, Jain and Abbeel: Denoising Diffusion Probabilistic Models (arXiv:2006.11239, 19 June 2020; NeurIPS 2020)
  3. Song, Meng and Ermon: Denoising Diffusion Implicit Models (arXiv:2010.02502, 6 October 2020; ICLR 2021)
  4. Song, Sohl-Dickstein, Kingma, Kumar, Ermon and Poole: Score-Based Generative Modeling through Stochastic Differential Equations (arXiv:2011.13456, 26 November 2020; ICLR 2021)
  5. Ho and Salimans: Classifier-Free Diffusion Guidance (arXiv:2207.12598, 26 July 2022)
  6. Rombach, Blattmann, Lorenz, Esser and Ommer: High-Resolution Image Synthesis with Latent Diffusion Models (arXiv:2112.10752, 20 December 2021; CVPR 2022)
  7. Stability AI: Stable Diffusion Public Release (22 August)
  8. CompVis and Stability AI: Stable Diffusion v1-4 model card (Hugging Face)
  9. Patil, Cuenca, Lambert and von Platen, Hugging Face: Stable Diffusion with Diffusers (22 August 2022)
  10. Schuhmann et al.: LAION-5B, an open large-scale dataset for training next generation image-text models (arXiv:2210.08402, 16 October 2022)

Investigado y escrito con ayuda de herramientas de IA, y editado para verificar su exactitud. Se ofrece solo como información general y para el debate, no como asesoramiento profesional. Consulta nuestros criterios editoriales y nuestro aviso legal. ¿Has visto un error? Dínoslo.

#diffusion models#stable diffusion#generative ai#image generation#latent diffusion#classifier-free guidance#ddpm#stability ai

¿Te ha gustado? Recibe el siguiente.

Una buena lectura cada vez, directa a tu correo. Sin spam, cancela cuando quieras.

Más en IA y tecnología
Perseverance recorrió 456 metros por el cráter Jezero el 8 y el 10 de diciembre de 2025 siguiendo puntos de ruta que un modelo de IA redactó y que ingenieros de la NASA revisaron
Un rover que está en promedio a 225 millones de kilómetros de la Tierra siguió un camino esbozado por un modelo de lenguaje que había estudiado imágenes orbitales, y el simulador del equipo lo aprobó antes. Quién hizo qué, con las palabras de quién, y qué muestran y qué no muestran las cifras.
Los trabajadores jóvenes en empleos expuestos a la IA están un 19% por debajo de donde estarían, según un estudio de Stanford con millones de registros de nómina, y sus autores dicen que eso no prueba que la IA lo causara
En millones de registros de nómina de ADP, los trabajadores jóvenes en los empleos que la IA maneja mejor se están quedando atrás respecto a sus pares. Si la IA es la razón es lo único que los autores se niegan a afirmar.
Las reglas de la Academia para los 99.os Oscar exigen guiones de autoría humana y papeles interpretados por humanos, mientras que las herramientas de IA ni ayudan ni perjudican a una nominación
El texto del reglamento, párrafo por párrafo, con la redacción de abril de 2025 en la que se apoya, los comentarios de la propia Academia y las herramientas de aprendizaje automático que los estudios de efectos y los premios Sci-Tech de la Academia ya reconocen.
← todos los artículos