Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › FLUX
Modelos

FLUX

Também conhecido como: FLUX.1, FLUX.2, FLUX Kontext
A família de modelos de geração e edição de imagens da Black Forest Labs, conhecida por seguir bem os prompts, escrever texto legível e ter versões de pesos abertos.

Por que isso importa

O FLUX assumiu o papel que o Stable Diffusion tinha no ecossistema aberto de imagens. As ferramentas da comunidade, os fine-tunings e os LoRAs migraram para ele, e ele está amplamente disponível no ComfyUI, em plataformas de inferência como Replicate e fal, e dentro de produtos comerciais. Os modelos por API também são usados nos bastidores por vários aplicativos criativos conhecidos.

Ele também empurrou a área para uma arquitetura nova. O FLUX usa um diffusion transformer treinado com flow matching (mais exatamente, rectified flow), em vez do desenho de difusão com U-Net das versões anteriores do Stable Diffusion. Essa combinação virou desde então a receita padrão dos melhores modelos de imagem e vídeo.

Em profundidade

O FLUX é feito pela Black Forest Labs, um laboratório alemão fundado por vários dos pesquisadores que criaram o Stable Diffusion. A primeira família, o FLUX.1, chegou em agosto de 2024 em três versões: Pro (só por API), Dev (pesos abertos para uso não comercial) e Schnell ("rápido" em alemão, uma versão destilada lançada sob a permissiva licença Apache 2.0).

O FLUX logo virou o principal modelo de imagem de pesos abertos. Ele seguia prompts longos e detalhados melhor do que os modelos abertos anteriores, desenhava mãos e texto de forma bem mais confiável e igualava ou superava muitos modelos fechados da época.

A família de modelos

  • FLUX.1 [pro], [dev], [schnell] (2024): os modelos originais de texto para imagem, com cerca de 12 bilhões de parâmetros. O Schnell gera boas imagens em apenas 1 a 4 passos.
  • FLUX.1 Tools: complementos para inpainting, outpainting e controle de estrutura (mapas de profundidade ou de bordas), na linha do ControlNet.
  • FLUX.1 Kontext (2025): um modelo de edição de imagens. Você fornece uma imagem e uma instrução ("mude a jaqueta para vermelho", "coloque este personagem em uma praia") e ele edita mantendo o sujeito consistente entre as edições.
  • FLUX.2 (fim de 2025): a geração seguinte, com resolução mais alta, texto melhor, entrada de várias imagens de referência e, de novo, uma mistura de versões por API e de pesos abertos.

Por baixo do capô

O FLUX.1 gera no espaço latente comprimido de um VAE de 16 canais, que preserva mais detalhes do que os latentes de 4 canais dos modelos Stable Diffusion mais antigos, e o FLUX.2 usa um VAE de 32 canais. Os prompts são lidos por codificadores de texto grandes (T5 junto com CLIP no FLUX.1, um único codificador de texto da Mistral no FLUX.2), o que explica em boa parte por que ele entende prompts complexos. As versões Dev e Schnell foram destiladas a partir da Pro, então não usam os prompts negativos clássicos nem o classifier-free guidance da forma habitual; em vez disso, recebem um valor de "guidance" embutido no modelo.

Rodando por conta própria

O FLUX.1 Dev em precisão completa precisa de cerca de 24 GB de VRAM, mas versões quantizadas (FP8, NF4 ou GGUF) rodam em placas de 8 a 12 GB com alguma perda de qualidade. O ComfyUI é a forma mais comum de rodá-lo localmente, e treinar LoRAs para um estilo, um produto ou uma pessoa específica é um uso muito popular.

Licenciamento

Confira a licença de cada versão. O Schnell é Apache 2.0 e pode ser usado comercialmente. Os pesos da linha Dev têm licença não comercial, e o uso comercial passa pela API da Black Forest Labs ou por uma licença paga.

← Todos os termos
ESC