Por que isso importa
Interfaces simples escondem o pipeline, o que funciona bem até você querer algo que elas não oferecem: dois LoRAs com intensidades diferentes, uma passada de ControlNet seguida de uma ampliação e uma correção de rosto, ou um modelo de vídeo alimentado por um primeiro quadro gerado. No ComfyUI, isso é só colocar mais nós.
Os workflows também são compartilháveis e reproduzíveis. Um workflow é um arquivo JSON, e o ComfyUI o incorpora nos metadados de cada imagem que salva. Arraste o PNG de alguém para o canvas e você obtém o grafo exato que o produziu. Isso fez do ComfyUI a língua comum da comunidade de imagem e vídeo abertos, e uma ferramenta de produção em estúdios e agências.
Em profundidade
ComfyUI é um aplicativo gratuito e de código aberto para rodar modelos generativos no seu próprio hardware. Em vez de um formulário com uma caixa de prompt e alguns controles deslizantes, ele oferece um canvas de nós conectados por fios. Cada nó faz uma única coisa: carregar um modelo, codificar um prompt, amostrar, decodificar uma imagem, ampliar, salvar. Você monta um pipeline conectando os nós, e pode ver e alterar cada etapa.
Ele foi criado em janeiro de 2023 por um desenvolvedor conhecido como comfyanonymous, originalmente como uma forma de entender como o Stable Diffusion funciona. Desde então se tornou a ferramenta padrão para geração local avançada de imagem e vídeo, e costuma estar entre as primeiras interfaces a oferecer suporte a um novo modelo aberto.
Um grafo básico
O workflow padrão de texto para imagem mostra do que um pipeline de difusão realmente é feito:
- Load Checkpoint entrega três coisas: o modelo de difusão, o codificador de texto (CLIP) e o VAE.
- Dois nós CLIP Text Encode transformam os prompts positivo e negativo em condicionamento.
- Empty Latent Image define a resolução.
- KSampler executa as etapas de remoção de ruído, usando a seed, o número de etapas, a escala de guidance e o sampler que você escolher.
- VAE Decode converte o latente em pixels.
- Save Image grava o arquivo.
Quando isso fizer sentido, todo o resto é variação. Troque o latente vazio por uma imagem codificada e você tem imagem para imagem. Insira um carregador de LoRA entre o checkpoint e o sampler. Adicione um ControlNet ao condicionamento.
O que ele suporta
O ComfyUI roda Stable Diffusion 1.5, SDXL, SD3 e FLUX, modelos de vídeo como Wan, HunyuanVideo e LTX-Video, além de modelos de áudio e 3D. É conhecido pelo gerenciamento cuidadoso de memória: carrega apenas as partes de um modelo de que uma etapa precisa e pode descarregar o resto para a RAM do sistema, de modo que modelos grandes rodam em GPUs com VRAM modesta, devagar mas com sucesso. Funciona em hardware NVIDIA, AMD, Intel e Apple Silicon.
Nós personalizados
Boa parte do poder do ComfyUI vem de milhares de nós personalizados (custom nodes) da comunidade, normalmente instalados pelo ComfyUI-Manager. Eles adicionam novos modelos, upscalers, ferramentas para rostos, utilitários de vídeo e integrações.
Eles também são o principal risco. Um nó personalizado é código Python arbitrário que roda com as permissões do seu usuário, e nós maliciosos que roubavam credenciais ou mineravam criptomoedas já foram encontrados em circulação. Instale apenas nós bem conhecidos, mantenha-os atualizados e não exponha um servidor ComfyUI à internet sem proteção.
Além do canvas
O ComfyUI roda como um servidor local com uma API. Você pode exportar um workflow em formato de API e colocá-lo na fila a partir de código, e é assim que muitas equipes colocam um workflow testado por trás de um produto. Desde 2024 o projeto é tocado por uma empresa, a Comfy Org, que distribui um instalador para desktop, mantém um registro de nós personalizados e adicionou nós opcionais que chamam modelos hospedados e pagos. Serviços de nuvem também hospedam o ComfyUI para quem não tem uma GPU adequada.
Comparado às alternativas
A Stable Diffusion WebUI do AUTOMATIC1111 e seu sucessor, o Forge, oferecem uma interface tradicional baseada em formulários que é mais fácil no primeiro dia. O InvokeAI foca em um canvas caprichado para artistas. O Fooocus esconde quase tudo. O ComfyUI tem a curva de aprendizado mais íngreme e o teto mais alto. Um bom jeito de começar é carregar um workflow de modelo, gerar uma imagem e depois mudar um nó de cada vez.