Pourquoi c'est important
U-Net a eu deux carrières. D'abord, il est devenu l'architecture standard de la segmentation d'images, surtout en imagerie médicale, où il est encore partout.
Ensuite, il est devenu le moteur de l'essor des images en IA générative. Le réseau de débruitage au cœur de Stable Diffusion 1.5, SDXL, DALL-E 2 et Imagen était un U-Net. Un modèle de diffusion doit prendre une image bruitée et prédire une image plus propre de la même taille, soit exactement le travail « image en entrée, image en sortie » pour lequel U-Net a été conçu. Si vous avez utilisé ComfyUI ou téléchargé des checkpoints Stable Diffusion, le gros fichier « UNet », c'est lui.
En profondeur
U-Net a été présenté en 2015 par Olaf Ronneberger, Philipp Fischer et Thomas Brox à l'Université de Fribourg pour une tâche précise : délimiter des cellules dans des images de microscope avec très peu de données d'entraînement. Sa forme lui donne son nom. Dans la descente, des couches de convolution réduisent l'image à plusieurs reprises tout en extrayant des caractéristiques de plus en plus abstraites. Dans la remontée, le réseau agrandit ces caractéristiques jusqu'à la pleine résolution. Entre les niveaux correspondants des deux côtés passent des connexions de saut (skip connections), qui recopient directement les détails fins.
Le résultat est un réseau dont la sortie est une image de la même taille que son entrée, nourrie à la fois par la vue d'ensemble et par le détail au niveau du pixel.
Pourquoi les connexions de saut comptent
Réduire une image, c'est ainsi qu'un réseau comprend ce qu'elle contient, mais cela fait perdre où se trouvent exactement les choses. Les connexions de saut transmettent le détail spatial précis du chemin descendant au chemin montant, pour que la sortie soit à la fois juste sur le plan sémantique et nette. Sans elles, les sorties sont floues.
Le U-Net de diffusion
Les U-Net des modèles de diffusion ont ajouté plusieurs éléments à la conception de 2015 :
- Des blocs résiduels à la place des convolutions simples, pour un entraînement stable.
- Le conditionnement par pas de temps : on indique au réseau à quel point son entrée est bruitée, pour qu'il sache combien de bruit retirer.
- Des couches de self-attention aux basses résolutions, qui permettent à des parties éloignées de l'image de se coordonner.
- Des couches d'attention croisée qui lisent les embeddings du prompt textuel. C'est là que les mots orientent l'image.
En diffusion latente, le U-Net ne travaille pas sur les pixels mais sur le latent compressé du VAE, ce qui l'a rendu assez rapide pour les GPU grand public. Des modules complémentaires comme ControlNet et LoRA ont été conçus autour de cette structure.
Le passage aux transformers
À partir de 2023 environ, les meilleurs modèles d'image et de vidéo ont commencé à remplacer le U-Net par un diffusion transformer (DiT), qui découpe le latent en patchs et les traite comme des tokens. Stable Diffusion 3, FLUX, Sora et la plupart des modèles vidéo récents utilisent des DiT, parce que les transformers passent à l'échelle de façon plus prévisible avec les données et le calcul et gèrent le conditionnement textuel avec plus de souplesse.
Toujours là
Les U-Net restent le choix par défaut pour la segmentation, le débruitage, la super-résolution et d'autres tâches de prédiction dense, et ils sont efficaces à petite échelle. SD 1.5 et SDXL, deux modèles à U-Net, ont aussi encore d'énormes communautés, parce qu'ils tournent sur du matériel modeste et qu'ils ont derrière eux des années de fine-tunes.