Black Forest Labs a présenté FLUX 3 le 23 juillet, et l'élément notable n'est pas la qualité des images. Il s'agit d'un seul modèle multimodal entraîné conjointement sur l'image, la vidéo, l'audio et la prédiction d'action, à l'intérieur d'une architecture unifiée, de la part d'une entreprise surtout connue pour avoir fabriqué les modèles d'image qui alimentent les fonctions génératives d'Adobe Photoshop, de Picsart et d'autres outils créatifs.
Le cadrage est délibérément plus large que la génération d'images. L'entreprise décrit FLUX 3 comme une étape vers des modèles du monde réel, des systèmes qui construisent une représentation unique du monde en apprenant à la fois des images, de la vidéo et de l'audio, plutôt qu'en maîtrisant une modalité à la fois. La méthode sous-jacente, qu'elle appelle Self-Flow, vise à aligner la génération et la compréhension multimodales au sein de la même architecture, de sorte que générer et interpréter ne soient pas deux piles distinctes boulonnées l'une à l'autre.
La prédiction d'action est la pièce qui change la nature même de cette entreprise. Un modèle qui prédit des actions à partir de la vidéo n'est pas un outil créatif, c'est une composante robotique, et Black Forest Labs la livre par l'entremise de partenaires de recherche et commerciaux sélectionnés, à commencer par mimic robotics, qui a mis en service un modèle vidéo-action fondé sur FLUX sur le plancher d'usine chez Audi. Un laboratoire d'imagerie qui bascule vers l'IA incarnée, c'est un vrai geste, pas une diapositive de présentation.
Le déploiement est étagé et seulement partiellement ouvert. FLUX 3 est en accès anticipé dès maintenant. La génération et l'édition vidéo et audio, ainsi que la synthèse et l'édition d'images, arrivent par des API et un accès en poids privés, la prédiction d'action passe par des partenaires, et l'entreprise dit qu'elle publiera aussi un accès en poids ouverts à une ossature multimodale pour la création de contenu et la prédiction d'action. Quelle part de la frontière finira téléchargeable, et sous quelle licence, voilà la question qui décidera de l'accueil que la communauté des modèles ouverts réservera à tout ceci.
C'est la direction qui compte. La frontière de l'IA visuelle generative passe de la production d'images plus jolies à un modèle unique qui perçoit, génère et agit, et les laboratoires qui ont commencé dans l'image se disputent désormais le même terrain que les laboratoires de robotique et les équipes de modèles vidéo. FLUX 3 est l'une des affirmations les plus claires à ce jour que ces trajectoires convergent.