Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › U-Net
Modelos

U-Net

Também conhecido como: UNet
Uma rede convolucional em forma de U que encolhe uma imagem e a reconstrói com conexões de atalho, e a espinha dorsal da primeira onda de modelos de difusão.

Por que isso importa

A U-Net teve duas carreiras. Primeiro, virou a arquitetura padrão para segmentação de imagens, especialmente em imagens médicas, onde continua em toda parte.

Depois, virou o motor do boom de imagens da IA generativa. A rede de remoção de ruído dentro do Stable Diffusion 1.5, do SDXL, do DALL-E 2 e do Imagen era uma U-Net. Um modelo de difusão precisa pegar uma imagem com ruído e prever uma imagem mais limpa do mesmo tamanho, que é exatamente o trabalho de "imagem entra, imagem sai" para o qual a U-Net foi criada. Se você já usou o ComfyUI ou baixou checkpoints do Stable Diffusion, o arquivo grande chamado "UNet" é isso.

Em profundidade

A U-Net foi apresentada em 2015 por Olaf Ronneberger, Philipp Fischer e Thomas Brox, da Universidade de Freiburg, para uma tarefa específica: delinear células em imagens de microscópio com pouquíssimos dados de treinamento. O formato dá nome à rede. No caminho de descida, camadas de convolução encolhem a imagem repetidamente enquanto extraem features cada vez mais abstratas. No caminho de subida, a rede amplia essas features de volta à resolução total. Entre os níveis correspondentes dos dois lados passam as skip connections (conexões de salto), que copiam os detalhes finos diretamente para o outro lado.

O resultado é uma rede cuja saída é uma imagem do mesmo tamanho da entrada, informada tanto pela visão geral quanto pelo detalhe no nível do pixel.

Por que as skip connections importam

Encolher uma imagem é como a rede entende o que há nela, mas isso joga fora onde exatamente as coisas estão. As skip connections entregam o detalhe espacial preciso do caminho de descida para o de subida, para que a saída seja ao mesmo tempo semanticamente correta e nítida. Sem elas, as saídas ficam borradas.

A U-Net de difusão

As U-Nets dos modelos de difusão acrescentaram várias peças ao design de 2015:

  • Blocos residuais no lugar de convoluções simples, para um treinamento estável.
  • Condicionamento pelo passo de tempo: a rede é informada de quanto ruído há na entrada, para saber quanto remover.
  • Camadas de self-attention nas resoluções mais baixas, que permitem que partes distantes da imagem se coordenem.
  • Camadas de atenção cruzada que leem os embeddings do prompt de texto. É aqui que as palavras conduzem a imagem.

Na difusão latente, a U-Net não trabalha em pixels, e sim no latente comprimido do VAE, e foi isso que a deixou rápida o bastante para GPUs domésticas. Complementos como ControlNet e LoRA foram projetados em torno dessa estrutura.

A mudança para os transformers

A partir de 2023, mais ou menos, os principais modelos de imagem e de vídeo começaram a trocar a U-Net por um diffusion transformer (DiT), que corta o latente em patches e os processa como tokens. Stable Diffusion 3, FLUX, Sora e a maioria dos modelos de vídeo recentes usam DiTs, porque os transformers escalam de forma mais previsível com dados e computação e lidam com o condicionamento por texto com mais flexibilidade.

Ainda por aí

As U-Nets continuam sendo o padrão para segmentação, remoção de ruído, super-resolução e outras tarefas de predição densa, e são eficientes em pequena escala. O SD 1.5 e o SDXL, ambos modelos com U-Net, também ainda têm comunidades enormes, porque rodam em hardware modesto e têm anos de fine-tunes acumulados.

← Todos os termos
ESC