Espaço latente
Por que isso importa
A maior parte da IA moderna faz seu trabalho de verdade no espaço latente. Geradores de imagens como o Stable Diffusion e o FLUX geram um latente pequeno e só o decodificam em pixels no final, o que os torna rápidos o bastante para rodar em um notebook. Sistemas de RAG transformam texto em embeddings e buscam pela distância entre pontos. A pesquisa de interpretabilidade tenta ler significado nos estados latentes internos de um modelo de linguagem.
Entender o espaço latente também explica muitos comportamentos. Quando um modelo de imagem confunde dois conceitos, muitas vezes é porque eles ficam próximos no espaço dele. Quando a busca semântica devolve algo estranhamente relacionado, é porque o modelo de embeddings colocou aquilo por perto por razões que não são óbvias para uma pessoa.
Em profundidade
"Latente" quer dizer oculto. Um espaço latente é o conjunto de números internos que um modelo usa para descrever suas entradas, em vez das entradas brutas. A imagem de um gato pode ter 3 milhões de valores de pixel, mas dentro de um modelo ela vira alguns milhares de números que capturam o "jeito de gato", a pose, a iluminação e o estilo. Cada entrada se torna um ponto nesse espaço, e o modelo aprende a organizá-lo de modo que coisas parecidas fiquem próximas.
Você nunca vê o espaço latente diretamente. Você vê o que ele torna possível: buscas que encontram documentos "parecidos", geradores de imagens que misturam estilos e modelos que entendem que "rei" e "rainha" têm relação.
A geometria carrega significado
Em um espaço latente bem treinado, distâncias e direções significam alguma coisa. Pontos próximos são parecidos. Direções podem codificar atributos: o exemplo famoso dos embeddings de palavras é que o vetor que vai de "homem" a "mulher" é mais ou menos o mesmo que vai de "rei" a "rainha". Em modelos de imagem, andar em uma direção pode acrescentar um sorriso ou mudar a hora do dia. É por isso que técnicas como a interpolação funcionam: caminhe em linha reta entre dois latentes e você obtém uma transição suave entre duas imagens.
Espaços latentes que você vai encontrar
- Espaços de embeddings de modelos de embedding de texto ou imagem, usados em busca, clustering e recomendações. Aqui os pontos costumam ser comparados com a similaridade de cosseno.
- Latentes de VAE em geradores de imagem e vídeo: uma grade comprimida que ainda se parece espacialmente com uma imagem minúscula, normalmente 8 vezes menor em cada lado.
- Estados ocultos dentro dos LLMs: o vetor de cada camada para cada token. São enormes (milhares de dimensões) e não foram feitos para humanos, mas guardam a compreensão de trabalho que o modelo tem do texto.
Nem todo espaço é suave
Um espaço latente só é útil se for bem organizado. Um autoencoder simples pode deixar buracos em que pontos aleatórios são decodificados em algo sem sentido. Autoencoders variacionais e o treinamento por difusão empurram o espaço para ser contínuo, de modo que amostrar em qualquer lugar dê algo plausível. Espaços de embeddings de modelos diferentes também não são compatíveis: os vetores de um modelo não significam nada para outro, e por isso é preciso gerar de novo os embeddings de todo o corpus quando você troca de modelo.
Dimensões altas são estranhas
Espaços latentes costumam ter centenas ou milhares de dimensões, e a intuição de 2D ou 3D deixa de valer. Quase todos os vetores aleatórios são praticamente perpendiculares entre si, e os modelos aproveitam isso para guardar muito mais conceitos do que têm dimensões (veja Superposição). Visualizações como t-SNE ou UMAP achatam esses espaços em 2D para gerar uma figura, mas sempre os distorcem, então trate esses gráficos como esboços, não como mapas.