Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › T5
Modelos

T5

Também conhecido como: Text-to-Text Transfer Transformer, Flan-T5
O modelo codificador-decodificador do Google que trata toda tarefa de linguagem como transformar um texto em outro, ainda muito usado como codificador de texto em geradores de imagem e vídeo.

Por que isso importa

O T5 importa por dois motivos. Historicamente, ele mostrou que um único modelo com um único objetivo de treinamento podia dar conta de quase qualquer tarefa de NLP, e seu artigo sistemático virou referência sobre como fazer transfer learning. Seu sucessor ajustado por instruções, o Flan-T5, foi por um tempo o melhor modelo aberto pequeno para seguir instruções.

Na prática, o T5 ainda roda em uma quantidade enorme de sistemas, em um papel que seus autores não planejaram: como codificador de texto (text encoder) dentro de geradores de imagem e vídeo. Se você já usou o FLUX.1, o Stable Diffusion 3 ou muitos modelos abertos de vídeo, um codificador T5 leu o seu prompt.

Em profundidade

T5, o Text-to-Text Transfer Transformer, foi apresentado por pesquisadores do Google em 2019. Sua ideia central era parar de construir uma camada de saída diferente para cada tarefa. Tradução, sumarização, classificação e resposta a perguntas foram todas colocadas na mesma forma: entra texto, sai texto. Para dizer ao modelo o que fazer, você coloca um prefixo curto na entrada, como translate English to German: ou summarize:.

Isso parece óbvio hoje, já que é assim que todo mundo usa LLMs. Em 2019 foi uma mudança real, e o T5 foi um dos modelos que a consolidaram.

Arquitetura e treinamento

O T5 usa o desenho original do Transformer, do tipo encoder-decoder, com um codificador, que lê a entrada com atenção bidirecional, e um decodificador, que gera a saída token por token. Isso o diferencia do BERT (só codificador) e do GPT (só decodificador).

Ele foi pré-treinado em um grande corpus de texto da web chamado C4 usando span corruption (corrupção de trechos): trechos aleatórios de texto são substituídos por tokens de marcação, e o modelo aprende a gerar os trechos que faltam. É um primo do masked language modeling do BERT, adaptado a um modelo que produz texto. O lançamento original veio em cinco tamanhos, do T5-Small (60 milhões de parâmetros) ao T5-11B (11 bilhões).

A família

  • mT5: uma versão multilíngue que cobre cerca de 100 idiomas.
  • ByT5: trabalha diretamente com bytes em vez de tokens, o que o torna robusto a erros de digitação e a sistemas de escrita incomuns.
  • Flan-T5 (2022): T5 com fine-tuning em mais de mil tarefas formuladas como instruções. Ele conseguia seguir instruções novas sem treinamento específico para a tarefa e continua popular para classificação e extração baratas.
  • T5Gemma (2025): o retorno do Google ao desenho codificador-decodificador, construído a partir da adaptação de modelos Gemma.

O T5 também foi reaproveitado muito além da linguagem. Os modelos Chronos da Amazon, de previsão de séries temporais, foram originalmente construídos sobre a arquitetura T5, e modelos baseados em T5 já foram usados para reclassificar resultados de busca (reranking) e produzir embeddings.

O T5 na geração de imagens

O artigo do Imagen, do Google (2022), trouxe uma descoberta surpreendente: um grande modelo de linguagem congelado e treinado só com texto, o T5-XXL, era um codificador de texto melhor para geração de imagens do que o CLIP, e aumentar o codificador de texto ajudava mais do que aumentar o modelo de imagem. Os embeddings do T5 capturam a ordem das palavras, as relações e descrições longas de um jeito que os do CLIP não capturam, o que melhorou a fidelidade ao prompt e a renderização de texto nas imagens.

A abordagem se espalhou. O Stable Diffusion 3 e o FLUX.1 usam o T5-XXL junto com o CLIP, e muitos modelos de vídeo usam variantes do T5. É esse o arquivo t5xxl, de vários gigabytes, que você carrega no ComfyUI. Como o codificador sozinho tem cerca de 4,7 bilhões de parâmetros, versões quantizadas são comuns. Modelos de imagem mais novos substituem cada vez mais o T5 por LLMs modernos como codificadores de texto.

Por que os modelos só decodificador venceram no chat

Se os codificadores-decodificadores funcionam tão bem, por que os LLMs de hoje são só decodificador? Principalmente por simplicidade e escala. Um modelo só decodificador trata tudo, prompt e resposta, como uma única sequência, o que torna simples treiná-lo com texto bruto, lidar com conversas de vários turnos e guardar em cache o cálculo anterior. Em grande escala, ele teve desempenho pelo menos tão bom. Os codificadores-decodificadores mantêm sua vantagem onde a entrada é totalmente conhecida de antemão e precisa ser compreendida a fundo: tradução, sumarização, reconhecimento de fala (o Whisper é um codificador-decodificador) e sinais de condicionamento para outros modelos.

← Todos os termos
ESC