Pourquoi c'est important
FLUX a repris le rôle que Stable Diffusion jouait dans l'écosystème ouvert de l'image. Les outils de la communauté, les fine-tunings et les LoRA s'y sont déplacés, et il est largement disponible dans ComfyUI, sur des plateformes d'inférence comme Replicate et fal, et dans des produits commerciaux. Ses modèles en API sont aussi utilisés en coulisses par plusieurs applications créatives connues.
Il a aussi poussé le domaine vers une nouvelle architecture. FLUX utilise un diffusion transformer entraîné par flow matching (plus précisément le rectified flow), au lieu de la diffusion à base de U-Net des premières versions de Stable Diffusion. Cette combinaison est depuis devenue la recette standard des meilleurs modèles d'image et de vidéo.
En profondeur
FLUX est conçu par Black Forest Labs, un laboratoire allemand fondé par plusieurs des chercheurs à l'origine de Stable Diffusion. La première famille, FLUX.1, est arrivée en août 2024 en trois versions : Pro (uniquement par API), Dev (poids ouverts pour un usage non commercial) et Schnell (« rapide » en allemand, une version distillée publiée sous la licence permissive Apache 2.0).
FLUX est vite devenu le principal modèle d'image à poids ouverts. Il suivait les prompts longs et détaillés mieux que les modèles ouverts précédents, rendait les mains et le texte de façon bien plus fiable, et égalait ou dépassait nombre de modèles fermés de son époque.
La famille de modèles
- FLUX.1 [pro], [dev], [schnell] (2024) : les modèles texte-vers-image d'origine, d'environ 12 milliards de paramètres. Schnell génère de bonnes images en 1 à 4 étapes seulement.
- FLUX.1 Tools : des compléments pour l'inpainting, l'outpainting et le contrôle de structure (cartes de profondeur ou de contours), dans l'esprit de ControlNet.
- FLUX.1 Kontext (2025) : un modèle de retouche d'images. On lui donne une image et une instruction (« change la veste en rouge », « mets ce personnage sur une plage ») et il modifie l'image en gardant le sujet cohérent d'une retouche à l'autre.
- FLUX.2 (fin 2025) : la génération suivante, avec une résolution plus élevée, un meilleur texte, la prise en charge de plusieurs images de référence et, là encore, un mélange de versions en API et à poids ouverts.
Sous le capot
FLUX.1 génère dans l'espace latent compressé d'un VAE à 16 canaux, qui préserve plus de détails que les latents à 4 canaux des anciens modèles Stable Diffusion, et FLUX.2 utilise un VAE à 32 canaux. Les prompts sont lus par de grands encodeurs de texte (T5 aux côtés de CLIP dans FLUX.1, un seul encodeur de texte Mistral dans FLUX.2), ce qui explique en bonne partie sa compréhension des prompts complexes. Les versions Dev et Schnell ont été distillées à partir de Pro, elles n'utilisent donc pas les prompts négatifs classiques ni le classifier-free guidance de la manière habituelle ; elles prennent à la place une valeur de « guidance » intégrée au modèle.
Le faire tourner soi-même
FLUX.1 Dev en pleine précision demande environ 24 Go de VRAM, mais des versions quantifiées (FP8, NF4 ou GGUF) tournent sur des cartes de 8 à 12 Go avec un certain compromis de qualité. ComfyUI est le moyen le plus courant de le faire tourner en local, et le fine-tuning de LoRA pour un style, un produit ou une personne précise est un usage répandu.
Licences
Vérifiez la licence de chaque version. Schnell est sous Apache 2.0 et utilisable commercialement. Les poids de la gamme Dev sont sous licence non commerciale, l'usage commercial passant par l'API de Black Forest Labs ou une licence payante.