Saltar al contenido principal
Zubnet AI › Aprender › Wiki › ComfyUI
Herramientas

ComfyUI

También conocido como: Comfy
Una interfaz de código abierto basada en nodos para construir pipelines de generación de imágenes, video y audio conectando modelos y pasos de procesamiento en forma de grafo.

Por qué importa

Las interfaces simples ocultan el pipeline, lo cual está bien hasta que quieres algo que no ofrecen: dos LoRA con intensidades distintas, una pasada de ControlNet seguida de un escalado y una corrección de rostro, o un modelo de video alimentado por un primer fotograma generado. En ComfyUI eso es solo agregar más nodos.

Los flujos de trabajo (workflows) también son compartibles y reproducibles. Un flujo de trabajo es un archivo JSON, y ComfyUI lo incrusta en los metadatos de cada imagen que guarda. Arrastra el PNG de alguien al lienzo y obtienes el grafo exacto que lo produjo. Eso convirtió a ComfyUI en el idioma común de la comunidad de imagen y video abiertos, y en una herramienta de producción en estudios y agencias.

En profundidad

ComfyUI es una aplicación gratuita y de código abierto para ejecutar modelos generativos en tu propio hardware. En lugar de un formulario con una caja de prompt y unos cuantos deslizadores, te da un lienzo de nodos conectados por cables. Cada nodo hace una sola cosa: cargar un modelo, codificar un prompt, muestrear, decodificar una imagen, escalar, guardar. Construyes un pipeline conectándolos, y puedes ver y cambiar cada paso.

Lo creó en enero de 2023 un desarrollador conocido como comfyanonymous, originalmente como una forma de entender cómo funciona Stable Diffusion. Desde entonces se ha convertido en la herramienta estándar para la generación local avanzada de imágenes y video, y suele estar entre las primeras interfaces en soportar un nuevo modelo abierto.

Un grafo básico

El flujo de trabajo de texto a imagen por defecto muestra en qué consiste realmente un pipeline de difusión:

  1. Load Checkpoint entrega tres cosas: el modelo de difusión, el codificador de texto (CLIP) y el VAE.
  2. Dos nodos CLIP Text Encode convierten los prompts positivo y negativo en condicionamiento.
  3. Empty Latent Image define la resolución.
  4. KSampler ejecuta los pasos de eliminación de ruido, usando la semilla, la cantidad de pasos, la escala de guidance y el sampler que elijas.
  5. VAE Decode convierte el latente en píxeles.
  6. Save Image escribe el archivo.

Una vez que eso tiene sentido, todo lo demás es una variación. Cambia el latente vacío por una imagen codificada y tienes imagen a imagen. Inserta un cargador de LoRA entre el checkpoint y el sampler. Agrega un ControlNet al condicionamiento.

Qué soporta

ComfyUI ejecuta Stable Diffusion 1.5, SDXL, SD3 y FLUX, modelos de video como Wan, HunyuanVideo y LTX-Video, además de modelos de audio y 3D. Es conocido por su manejo cuidadoso de la memoria: carga solo las partes de un modelo que un paso necesita y puede descargar el resto a la RAM del sistema, de modo que los modelos grandes corren en GPU con VRAM modesta, lento pero con éxito. Funciona en hardware de NVIDIA, AMD, Intel y Apple Silicon.

Nodos personalizados

Gran parte del poder de ComfyUI viene de miles de nodos personalizados (custom nodes) de la comunidad, que normalmente se instalan con ComfyUI-Manager. Agregan nuevos modelos, escaladores, herramientas para rostros, utilidades de video e integraciones.

También son el principal riesgo. Un nodo personalizado es código Python arbitrario que se ejecuta con los permisos de tu usuario, y ya se han encontrado en circulación nodos maliciosos que robaban credenciales o minaban criptomonedas. Instala solo nodos bien conocidos, mantenlos actualizados y no expongas un servidor de ComfyUI a internet sin protección.

Más allá del lienzo

ComfyUI corre como un servidor local con una API. Puedes exportar un flujo de trabajo en formato API y ponerlo en cola desde código, y así es como muchos equipos ponen un flujo de trabajo probado detrás de un producto. Desde 2024 el proyecto está a cargo de una empresa, Comfy Org, que distribuye un instalador de escritorio, mantiene un registro de nodos personalizados y ha agregado nodos opcionales que llaman a modelos alojados de pago. También hay servicios en la nube que alojan ComfyUI para quienes no tienen una GPU adecuada.

Comparado con las alternativas

Stable Diffusion WebUI de AUTOMATIC1111 y su sucesor Forge ofrecen una interfaz tradicional basada en formularios que es más fácil el primer día. InvokeAI se enfoca en un lienzo pulido para artistas. Fooocus oculta casi todo. ComfyUI tiene la curva de aprendizaje más empinada y el techo más alto. Una buena forma de entrar es cargar un flujo de trabajo de plantilla, generar una imagen y luego cambiar un nodo a la vez.

← Todos los términos
ESC