Pourquoi c'est important
Les interfaces simples cachent le pipeline, ce qui convient très bien jusqu'au jour où vous voulez quelque chose qu'elles ne proposent pas : deux LoRA avec des forces différentes, une passe ControlNet suivie d'un agrandissement et d'une correction de visage, ou un modèle vidéo alimenté par une première image générée. Dans ComfyUI, ce ne sont que des nœuds en plus.
Les workflows sont aussi partageables et reproductibles. Un workflow est un fichier JSON, et ComfyUI l'intègre dans les métadonnées de chaque image qu'il enregistre. Glissez le PNG de quelqu'un sur le canevas et vous obtenez le graphe exact qui l'a produit. C'est ce qui a fait de ComfyUI la langue commune de la communauté de l'image et de la vidéo ouvertes, et un outil de production dans les studios et les agences.
En profondeur
ComfyUI est une application gratuite et open source pour faire tourner des modèles génératifs sur votre propre matériel. Au lieu d'un formulaire avec une zone de prompt et quelques curseurs, il vous donne un canevas de nœuds reliés par des fils. Chaque nœud fait une seule chose : charger un modèle, encoder un prompt, échantillonner, décoder une image, agrandir, enregistrer. Vous construisez un pipeline en les connectant, et vous pouvez voir et modifier chaque étape.
Il a été créé en janvier 2023 par un développeur connu sous le nom de comfyanonymous, à l'origine pour comprendre comment fonctionne Stable Diffusion. Il est depuis devenu l'outil de référence pour la génération locale avancée d'images et de vidéos, et il figure en général parmi les premières interfaces à prendre en charge un nouveau modèle ouvert.
Un graphe de base
Le workflow texte-vers-image par défaut montre de quoi se compose réellement un pipeline de diffusion :
- Load Checkpoint fournit trois choses : le modèle de diffusion, l'encodeur de texte (CLIP) et le VAE.
- Deux nœuds CLIP Text Encode transforment les prompts positif et négatif en conditionnement.
- Empty Latent Image fixe la résolution.
- KSampler exécute les étapes de débruitage, avec la seed, le nombre d'étapes, l'échelle de guidage et le sampler que vous choisissez.
- VAE Decode convertit le latent en pixels.
- Save Image écrit le fichier.
Une fois que cela est clair, tout le reste est une variation. Remplacez le latent vide par une image encodée et vous obtenez de l'image-vers-image. Insérez un chargeur de LoRA entre le checkpoint et le sampler. Ajoutez un ControlNet au conditionnement.
Ce qu'il prend en charge
ComfyUI fait tourner Stable Diffusion 1.5, SDXL, SD3 et FLUX, des modèles vidéo comme Wan, HunyuanVideo et LTX-Video, ainsi que des modèles audio et 3D. Il est réputé pour sa gestion soignée de la mémoire : il ne charge que les parties d'un modèle dont une étape a besoin et peut décharger le reste dans la RAM du système, si bien que de gros modèles tournent sur des GPU à la VRAM modeste, lentement mais avec succès. Il fonctionne sur du matériel NVIDIA, AMD, Intel et Apple Silicon.
Les nœuds personnalisés
Une grande partie de la puissance de ComfyUI vient de milliers de nœuds personnalisés (custom nodes) créés par la communauté, généralement installés via ComfyUI-Manager. Ils ajoutent de nouveaux modèles, des upscalers, des outils pour les visages, des utilitaires vidéo et des intégrations.
Ils sont aussi le principal risque. Un nœud personnalisé est du code Python arbitraire qui s'exécute avec les permissions de votre utilisateur, et des nœuds malveillants qui volaient des identifiants ou minaient de la cryptomonnaie ont déjà été découverts en circulation. N'installez que des nœuds bien connus, tenez-les à jour et n'exposez pas un serveur ComfyUI à Internet sans protection.
Au-delà du canevas
ComfyUI tourne comme un serveur local doté d'une API. Vous pouvez exporter un workflow au format API et le mettre en file d'attente depuis du code, et c'est ainsi que beaucoup d'équipes placent un workflow éprouvé derrière un produit. Depuis 2024, le projet est géré par une entreprise, Comfy Org, qui fournit un installateur pour ordinateur de bureau, maintient un registre de nœuds personnalisés et a ajouté des nœuds optionnels qui appellent des modèles payants et hébergés. Des services cloud hébergent aussi ComfyUI pour les personnes qui n'ont pas de GPU adapté.
Comparé aux alternatives
La Stable Diffusion WebUI d'AUTOMATIC1111 et son successeur Forge offrent une interface classique à base de formulaires, plus facile le premier jour. InvokeAI mise sur un canevas soigné pour les artistes. Fooocus cache presque tout. ComfyUI a la courbe d'apprentissage la plus raide et le plafond le plus haut. Une bonne façon de s'y mettre est de charger un workflow modèle, de générer une image, puis de modifier un nœud à la fois.