T5
Por que isso importa
O T5 importa por dois motivos. Historicamente, ele mostrou que um único modelo com um único objetivo de treinamento podia dar conta de quase qualquer tarefa de NLP, e seu artigo sistemático virou referência sobre como fazer transfer learning. Seu sucessor ajustado por instruções, o Flan-T5, foi por um tempo o melhor modelo aberto pequeno para seguir instruções.
Na prática, o T5 ainda roda em uma quantidade enorme de sistemas, em um papel que seus autores não planejaram: como codificador de texto (text encoder) dentro de geradores de imagem e vídeo. Se você já usou o FLUX.1, o Stable Diffusion 3 ou muitos modelos abertos de vídeo, um codificador T5 leu o seu prompt.
Em profundidade
T5, o Text-to-Text Transfer Transformer, foi apresentado por pesquisadores do Google em 2019. Sua ideia central era parar de construir uma camada de saída diferente para cada tarefa. Tradução, sumarização, classificação e resposta a perguntas foram todas colocadas na mesma forma: entra texto, sai texto. Para dizer ao modelo o que fazer, você coloca um prefixo curto na entrada, como translate English to German: ou summarize:.
Isso parece óbvio hoje, já que é assim que todo mundo usa LLMs. Em 2019 foi uma mudança real, e o T5 foi um dos modelos que a consolidaram.
Arquitetura e treinamento
O T5 usa o desenho original do Transformer, do tipo encoder-decoder, com um codificador, que lê a entrada com atenção bidirecional, e um decodificador, que gera a saída token por token. Isso o diferencia do BERT (só codificador) e do GPT (só decodificador).
Ele foi pré-treinado em um grande corpus de texto da web chamado C4 usando span corruption (corrupção de trechos): trechos aleatórios de texto são substituídos por tokens de marcação, e o modelo aprende a gerar os trechos que faltam. É um primo do masked language modeling do BERT, adaptado a um modelo que produz texto. O lançamento original veio em cinco tamanhos, do T5-Small (60 milhões de parâmetros) ao T5-11B (11 bilhões).
A família
- mT5: uma versão multilíngue que cobre cerca de 100 idiomas.
- ByT5: trabalha diretamente com bytes em vez de tokens, o que o torna robusto a erros de digitação e a sistemas de escrita incomuns.
- Flan-T5 (2022): T5 com fine-tuning em mais de mil tarefas formuladas como instruções. Ele conseguia seguir instruções novas sem treinamento específico para a tarefa e continua popular para classificação e extração baratas.
- T5Gemma (2025): o retorno do Google ao desenho codificador-decodificador, construído a partir da adaptação de modelos Gemma.
O T5 também foi reaproveitado muito além da linguagem. Os modelos Chronos da Amazon, de previsão de séries temporais, foram originalmente construídos sobre a arquitetura T5, e modelos baseados em T5 já foram usados para reclassificar resultados de busca (reranking) e produzir embeddings.
O T5 na geração de imagens
O artigo do Imagen, do Google (2022), trouxe uma descoberta surpreendente: um grande modelo de linguagem congelado e treinado só com texto, o T5-XXL, era um codificador de texto melhor para geração de imagens do que o CLIP, e aumentar o codificador de texto ajudava mais do que aumentar o modelo de imagem. Os embeddings do T5 capturam a ordem das palavras, as relações e descrições longas de um jeito que os do CLIP não capturam, o que melhorou a fidelidade ao prompt e a renderização de texto nas imagens.
A abordagem se espalhou. O Stable Diffusion 3 e o FLUX.1 usam o T5-XXL junto com o CLIP, e muitos modelos de vídeo usam variantes do T5. É esse o arquivo t5xxl, de vários gigabytes, que você carrega no ComfyUI. Como o codificador sozinho tem cerca de 4,7 bilhões de parâmetros, versões quantizadas são comuns. Modelos de imagem mais novos substituem cada vez mais o T5 por LLMs modernos como codificadores de texto.
Por que os modelos só decodificador venceram no chat
Se os codificadores-decodificadores funcionam tão bem, por que os LLMs de hoje são só decodificador? Principalmente por simplicidade e escala. Um modelo só decodificador trata tudo, prompt e resposta, como uma única sequência, o que torna simples treiná-lo com texto bruto, lidar com conversas de vários turnos e guardar em cache o cálculo anterior. Em grande escala, ele teve desempenho pelo menos tão bom. Os codificadores-decodificadores mantêm sua vantagem onde a entrada é totalmente conhecida de antemão e precisa ser compreendida a fundo: tradução, sumarização, reconhecimento de fala (o Whisper é um codificador-decodificador) e sinais de condicionamento para outros modelos.