Auto-encodeur
Pourquoi c'est important
Si vous avez utilisé Stable Diffusion, FLUX ou la plupart des générateurs vidéo, vous avez utilisé un VAE. Ces modèles ne génèrent pas directement des pixels, ce qui serait beaucoup trop coûteux. Ils génèrent dans l'espace latent compressé du VAE (souvent 8 fois plus petit dans chaque direction, donc 64 fois moins de positions), et le décodeur du VAE transforme le résultat en image complète à la fin. C'est grâce au VAE qu'un GPU grand public peut générer une image de 1024×1024 en quelques secondes. C'est aussi lui qui explique certains défauts familiers : petits textes illisibles, visages flous à distance et dérives de couleur viennent souvent du VAE plutôt que du modèle de diffusion lui-même.
Les auto-encodeurs servent aussi à la détection d'anomalies (ce que le modèle reconstruit mal est probablement inhabituel), au débruitage et, plus récemment, à la recherche en interprétabilité grâce aux auto-encodeurs parcimonieux.
En profondeur
Un auto-encodeur a deux moitiés. L'encodeur prend une entrée, par exemple une image, et la compresse en un ensemble de nombres beaucoup plus petit. Le décodeur prend ce code compressé et essaie de reconstruire l'original. Le réseau est entraîné avec un objectif simple : faire en sorte que la sortie ressemble le plus possible à l'entrée. Comme le code du milieu est petit, le réseau ne peut pas se contenter de recopier l'entrée. Il doit apprendre ce qui compte vraiment dans les données.
Un auto-encodeur variationnel (VAE) ajoute une subtilité : au lieu d'associer chaque entrée à un seul point, l'encodeur produit une petite distribution de probabilité, et l'entraînement pousse ces distributions à former un espace lisse et bien organisé. On peut alors échantillonner cet espace et s'y déplacer, ce dont les modèles génératifs ont besoin.
Le goulot d'étranglement, c'est tout l'intérêt
Un auto-encodeur classique apprend une représentation compressée sans aucune étiquette, ce qui en fait un exemple typique d'apprentissage auto-supervisé. Plus le goulot est étroit, plus le réseau doit jeter le bruit et garder la structure. Trop petit, et les reconstructions deviennent floues ; trop grand, et il n'apprend guère plus qu'à recopier. Le bon réglage dépend de l'usage : les VAE de génération d'images visent des reconstructions quasi parfaites, alors qu'un modèle de compression pour la recherche peut accepter plus de pertes.
Ce qu'apporte le « variationnel »
L'espace latent d'un auto-encodeur classique peut être plein de trous : prenez un point au hasard et le décodeur produit n'importe quoi, car aucun exemple d'entraînement n'y a jamais atterri. Un VAE corrige cela en ajoutant un second terme à la fonction de perte (une divergence KL) qui rapproche chaque distribution encodée d'une forme standard simple. On obtient un espace continu où des points voisins donnent des sorties similaires et où des échantillons aléatoires donnent des résultats plausibles. La contrepartie : seuls, les VAE classiques produisent des images un peu floues. C'est pourquoi on les utilise aujourd'hui surtout comme étage de compression des modèles de diffusion plutôt que comme générateurs.
Les VAE dans les modèles d'image et de vidéo
En diffusion latente, le pipeline est le suivant : encoder les images d'entraînement avec le VAE, entraîner le modèle de diffusion à débruiter dans cet espace latent, puis décoder le latent final en pixels. Améliorer le VAE seul peut nettement affiner les résultats. Les modèles récents sont passés de 4 canaux latents (Stable Diffusion 1.x et SDXL) à 16 canaux (Stable Diffusion 3, FLUX), ce qui préserve des détails bien plus fins comme le texte et les mains. Les modèles vidéo utilisent des VAE 3D qui compressent aussi dans le temps, pour que quelques secondes de vidéo tiennent en mémoire.
Auto-encodeurs parcimonieux
Une variante proche, l'auto-encodeur parcimonieux (sparse autoencoder), est entraînée sur les activations internes d'un modèle de langage plutôt que sur des images. En forçant la plupart de son code à zéro, chaque unité tend à représenter un concept reconnaissable, ce qui en a fait un outil clé pour regarder à l'intérieur des modèles.