Espace latent
Pourquoi c'est important
L'essentiel de l'IA moderne fait son vrai travail dans l'espace latent. Les générateurs d'images comme Stable Diffusion et FLUX génèrent un petit latent et ne le décodent en pixels qu'à la fin, ce qui les rend assez rapides pour tourner sur un ordinateur portable. Les systèmes RAG transforment le texte en embeddings et cherchent par distance entre les points. La recherche en interprétabilité tente de lire du sens dans les états latents internes d'un modèle de langage.
Comprendre l'espace latent explique aussi beaucoup de comportements. Quand un modèle d'image confond deux concepts, c'est souvent parce qu'ils sont proches dans son espace. Quand une recherche sémantique renvoie un résultat curieusement lié, c'est que le modèle d'embedding l'a placé à proximité pour des raisons qui ne sautent pas aux yeux d'un humain.
En profondeur
« Latent » veut dire caché. Un espace latent est l'ensemble des nombres internes qu'un modèle utilise pour décrire ses entrées, plutôt que les entrées brutes elles-mêmes. Une photo de chat peut compter 3 millions de valeurs de pixels, mais à l'intérieur d'un modèle elle devient quelques milliers de nombres qui capturent le « chat », la pose, l'éclairage et le style. Chaque entrée devient un point dans cet espace, et le modèle apprend à l'organiser pour que les choses similaires se retrouvent proches.
On ne voit jamais l'espace latent directement. On voit ce qu'il permet : une recherche qui trouve des documents « similaires », des générateurs d'images qui mélangent des styles, et des modèles qui comprennent que « roi » et « reine » sont liés.
La géométrie porte du sens
Dans un espace latent bien entraîné, les distances et les directions veulent dire quelque chose. Des points proches sont similaires. Des directions peuvent encoder des attributs : l'exemple célèbre des embeddings de mots est que le vecteur qui va de « homme » à « femme » ressemble beaucoup à celui qui va de « roi » à « reine ». Dans les modèles d'image, se déplacer dans une direction peut ajouter un sourire ou changer le moment de la journée. C'est pourquoi l'interpolation fonctionne : avancez en ligne droite entre deux latents et vous obtenez un morphing fluide entre deux images.
Les espaces latents que vous croiserez
- Les espaces d'embedding des modèles d'embedding de texte ou d'image, utilisés pour la recherche, le clustering et la recommandation. On y compare généralement les points avec la similarité cosinus.
- Les latents de VAE des générateurs d'images et de vidéos : une grille compressée qui ressemble encore spatialement à une minuscule image, généralement 8 fois plus petite par côté.
- Les états cachés à l'intérieur des LLM : le vecteur de chaque couche pour chaque token. Ils sont énormes (des milliers de dimensions) et ne sont pas conçus pour les humains, mais ils contiennent la compréhension de travail du modèle.
Tous les espaces ne sont pas lisses
Un espace latent n'est utile que s'il est bien organisé. Un auto-encodeur classique peut laisser des trous où des points aléatoires se décodent en absurdités. Les auto-encodeurs variationnels et l'entraînement par diffusion poussent l'espace à être continu, pour qu'un échantillon pris n'importe où donne quelque chose de plausible. Les espaces d'embedding de modèles différents ne sont pas compatibles non plus : les vecteurs d'un modèle ne veulent rien dire pour un autre, c'est pourquoi il faut ré-encoder tout son corpus quand on change de modèle.
Les grandes dimensions sont étranges
Les espaces latents ont souvent des centaines ou des milliers de dimensions, et l'intuition issue de la 2D ou de la 3D ne tient plus. Presque tous les vecteurs aléatoires y sont quasi perpendiculaires entre eux, et les modèles en profitent pour y loger bien plus de concepts qu'ils n'ont de dimensions (voir Superposition). Les visualisations comme t-SNE ou UMAP écrasent ces espaces en 2D pour en faire une image, mais les déforment toujours : prenez ces graphiques pour des croquis, pas pour des cartes.