Por qué importa
U-Net tuvo dos carreras. Primero, se convirtió en la arquitectura estándar para la segmentación de imágenes, sobre todo en imagen médica, donde sigue estando en todas partes.
Segundo, se convirtió en el motor del auge de las imágenes en la IA generativa. La red de eliminación de ruido dentro de Stable Diffusion 1.5, SDXL, DALL-E 2 e Imagen era una U-Net. Un modelo de difusión tiene que tomar una imagen con ruido y predecir una imagen más limpia del mismo tamaño, que es exactamente el trabajo de «imagen de entrada, imagen de salida» para el que se creó U-Net. Si has usado ComfyUI o has descargado checkpoints de Stable Diffusion, el archivo grande llamado «UNet» es esto.
En profundidad
U-Net fue presentada en 2015 por Olaf Ronneberger, Philipp Fischer y Thomas Brox en la Universidad de Friburgo para un trabajo concreto: delinear células en imágenes de microscopio con muy pocos datos de entrenamiento. Su forma le da el nombre. En el camino de bajada, las capas de convolución reducen la imagen una y otra vez mientras extraen características cada vez más abstractas. En el camino de subida, la red amplía esas características hasta volver a la resolución completa. Entre los niveles equivalentes de ambos lados van las skip connections (conexiones de salto), que copian el detalle fino directamente al otro lado.
El resultado es una red cuya salida es una imagen del mismo tamaño que la entrada, informada tanto por la visión de conjunto como por el detalle a nivel de píxel.
Por qué importan las skip connections
Reducir una imagen es la forma en que una red entiende qué hay en ella, pero descarta dónde están exactamente las cosas. Las skip connections pasan el detalle espacial preciso del camino de bajada al de subida, para que la salida sea a la vez correcta en lo semántico y nítida. Sin ellas, las salidas quedan borrosas.
La U-Net de difusión
Las U-Net de los modelos de difusión añadieron varias piezas al diseño de 2015:
- Bloques residuales en lugar de convoluciones simples, para un entrenamiento estable.
- Condicionamiento por paso de tiempo: a la red se le dice cuánto ruido tiene su entrada, para que sepa cuánto quitar.
- Capas de auto-atención en las resoluciones más bajas, que permiten que partes distantes de la imagen se coordinen.
- Capas de atención cruzada que leen los embeddings del prompt de texto. Aquí es donde las palabras dirigen la imagen.
En la difusión latente, la U-Net no trabaja sobre píxeles sino sobre el latente comprimido del VAE, y eso es lo que la hizo lo bastante rápida para GPU de consumo. Complementos como ControlNet y LoRA se diseñaron en torno a esta estructura.
El paso a los transformers
Desde 2023 aproximadamente, los mejores modelos de imagen y de video empezaron a sustituir la U-Net por un diffusion transformer (DiT), que corta el latente en parches y los procesa como tokens. Stable Diffusion 3, FLUX, Sora y la mayoría de los modelos de video recientes usan DiT, porque los transformers escalan de forma más predecible con los datos y el cómputo y manejan el condicionamiento por texto con más flexibilidad.
Sigue entre nosotros
Las U-Net siguen siendo la opción por defecto para segmentación, eliminación de ruido, superresolución y otras tareas de predicción densa, y son eficientes a pequeña escala. SD 1.5 y SDXL, ambos modelos con U-Net, también conservan comunidades enormes porque funcionan en hardware modesto y tienen años de fine-tunes a sus espaldas.