Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › ComfyUI
Ferramentas

ComfyUI

Também conhecido como: Comfy
Uma interface de código aberto baseada em nós para montar pipelines de geração de imagem, vídeo e áudio conectando modelos e etapas de processamento em forma de grafo.

Por que isso importa

Interfaces simples escondem o pipeline, o que funciona bem até você querer algo que elas não oferecem: dois LoRAs com intensidades diferentes, uma passada de ControlNet seguida de uma ampliação e uma correção de rosto, ou um modelo de vídeo alimentado por um primeiro quadro gerado. No ComfyUI, isso é só colocar mais nós.

Os workflows também são compartilháveis e reproduzíveis. Um workflow é um arquivo JSON, e o ComfyUI o incorpora nos metadados de cada imagem que salva. Arraste o PNG de alguém para o canvas e você obtém o grafo exato que o produziu. Isso fez do ComfyUI a língua comum da comunidade de imagem e vídeo abertos, e uma ferramenta de produção em estúdios e agências.

Em profundidade

ComfyUI é um aplicativo gratuito e de código aberto para rodar modelos generativos no seu próprio hardware. Em vez de um formulário com uma caixa de prompt e alguns controles deslizantes, ele oferece um canvas de nós conectados por fios. Cada nó faz uma única coisa: carregar um modelo, codificar um prompt, amostrar, decodificar uma imagem, ampliar, salvar. Você monta um pipeline conectando os nós, e pode ver e alterar cada etapa.

Ele foi criado em janeiro de 2023 por um desenvolvedor conhecido como comfyanonymous, originalmente como uma forma de entender como o Stable Diffusion funciona. Desde então se tornou a ferramenta padrão para geração local avançada de imagem e vídeo, e costuma estar entre as primeiras interfaces a oferecer suporte a um novo modelo aberto.

Um grafo básico

O workflow padrão de texto para imagem mostra do que um pipeline de difusão realmente é feito:

  1. Load Checkpoint entrega três coisas: o modelo de difusão, o codificador de texto (CLIP) e o VAE.
  2. Dois nós CLIP Text Encode transformam os prompts positivo e negativo em condicionamento.
  3. Empty Latent Image define a resolução.
  4. KSampler executa as etapas de remoção de ruído, usando a seed, o número de etapas, a escala de guidance e o sampler que você escolher.
  5. VAE Decode converte o latente em pixels.
  6. Save Image grava o arquivo.

Quando isso fizer sentido, todo o resto é variação. Troque o latente vazio por uma imagem codificada e você tem imagem para imagem. Insira um carregador de LoRA entre o checkpoint e o sampler. Adicione um ControlNet ao condicionamento.

O que ele suporta

O ComfyUI roda Stable Diffusion 1.5, SDXL, SD3 e FLUX, modelos de vídeo como Wan, HunyuanVideo e LTX-Video, além de modelos de áudio e 3D. É conhecido pelo gerenciamento cuidadoso de memória: carrega apenas as partes de um modelo de que uma etapa precisa e pode descarregar o resto para a RAM do sistema, de modo que modelos grandes rodam em GPUs com VRAM modesta, devagar mas com sucesso. Funciona em hardware NVIDIA, AMD, Intel e Apple Silicon.

Nós personalizados

Boa parte do poder do ComfyUI vem de milhares de nós personalizados (custom nodes) da comunidade, normalmente instalados pelo ComfyUI-Manager. Eles adicionam novos modelos, upscalers, ferramentas para rostos, utilitários de vídeo e integrações.

Eles também são o principal risco. Um nó personalizado é código Python arbitrário que roda com as permissões do seu usuário, e nós maliciosos que roubavam credenciais ou mineravam criptomoedas já foram encontrados em circulação. Instale apenas nós bem conhecidos, mantenha-os atualizados e não exponha um servidor ComfyUI à internet sem proteção.

Além do canvas

O ComfyUI roda como um servidor local com uma API. Você pode exportar um workflow em formato de API e colocá-lo na fila a partir de código, e é assim que muitas equipes colocam um workflow testado por trás de um produto. Desde 2024 o projeto é tocado por uma empresa, a Comfy Org, que distribui um instalador para desktop, mantém um registro de nós personalizados e adicionou nós opcionais que chamam modelos hospedados e pagos. Serviços de nuvem também hospedam o ComfyUI para quem não tem uma GPU adequada.

Comparado às alternativas

A Stable Diffusion WebUI do AUTOMATIC1111 e seu sucessor, o Forge, oferecem uma interface tradicional baseada em formulários que é mais fácil no primeiro dia. O InvokeAI foca em um canvas caprichado para artistas. O Fooocus esconde quase tudo. O ComfyUI tem a curva de aprendizado mais íngreme e o teto mais alto. Um bom jeito de começar é carregar um workflow de modelo, gerar uma imagem e depois mudar um nó de cada vez.

← Todos os termos
ESC