Aller au contenu principal
Zubnet AI › Apprendre › Wiki › T5
Modèles

T5

Aussi appelé : Text-to-Text Transfer Transformer, Flan-T5
Le modèle encodeur-décodeur de Google qui traite chaque tâche de langage comme la transformation d'un texte en un autre, encore très utilisé comme encodeur de texte pour les générateurs d'images et de vidéos.

Pourquoi c'est important

T5 compte pour deux raisons. Sur le plan historique, il a montré qu'un seul modèle avec un seul objectif d'entraînement pouvait traiter presque n'importe quelle tâche de traitement du langage, et son article systématique est devenu une référence sur la manière de faire de l'apprentissage par transfert. Son successeur ajusté par instructions, Flan-T5, a été pendant un temps le meilleur petit modèle ouvert pour suivre des instructions.

Sur le plan pratique, T5 tourne encore dans un nombre énorme de systèmes, dans un rôle que ses auteurs n'avaient pas prévu : celui d'encodeur de texte à l'intérieur des générateurs d'images et de vidéos. Si vous avez utilisé FLUX.1, Stable Diffusion 3 ou de nombreux modèles vidéo ouverts, c'est un encodeur T5 qui a lu votre prompt.

En profondeur

T5, le Text-to-Text Transfer Transformer, a été présenté par des chercheurs de Google en 2019. Son idée centrale était d'arrêter de construire une couche de sortie différente pour chaque tâche. La traduction, le résumé, la classification et la réponse aux questions ont tous été mis sous la même forme : du texte entre, du texte sort. Pour dire au modèle quoi faire, on place un court préfixe devant l'entrée, comme translate English to German: ou summarize:.

Cela paraît évident aujourd'hui, puisque c'est ainsi que tout le monde utilise les LLM. En 2019, c'était un vrai changement, et T5 a été l'un des modèles qui l'ont installé.

Architecture et entraînement

T5 reprend la structure du Transformer d'origine, avec à la fois un encodeur, qui lit l'entrée avec une attention bidirectionnelle, et un décodeur, qui génère la sortie token par token. Cela le distingue de BERT (encodeur seul) et de GPT (décodeur seul).

Il a été préentraîné sur un grand corpus de textes du web appelé C4 avec la span corruption : des portions de texte prises au hasard sont remplacées par des tokens de substitution, et le modèle apprend à générer les portions manquantes. C'est un cousin de la modélisation par langage masqué de BERT, adapté à un modèle qui produit du texte. La version d'origine existait en cinq tailles, de T5-Small (60 millions de paramètres) à T5-11B (11 milliards).

La famille

  • mT5 : une version multilingue couvrant une centaine de langues.
  • ByT5 : travaille directement sur les octets au lieu des tokens, ce qui le rend robuste aux fautes d'orthographe et aux écritures inhabituelles.
  • Flan-T5 (2022) : un T5 ajusté par fine-tuning sur plus d'un millier de tâches formulées comme des instructions. Il pouvait suivre de nouvelles instructions sans entraînement spécifique à la tâche et reste populaire pour la classification et l'extraction à bas coût.
  • T5Gemma (2025) : le retour de Google à l'architecture encodeur-décodeur, construit en adaptant des modèles Gemma.

T5 a aussi été réutilisé bien au-delà du langage. Les modèles de prévision de séries temporelles Chronos d'Amazon ont d'abord été construits sur l'architecture T5, et des modèles fondés sur T5 ont servi au reclassement de résultats de recherche et à la production d'embeddings.

T5 dans la génération d'images

L'article Imagen de Google (2022) a fait une découverte surprenante : un grand modèle de langage gelé, entraîné uniquement sur du texte, T5-XXL, était un meilleur encodeur de texte pour la génération d'images que CLIP, et agrandir l'encodeur de texte aidait plus qu'agrandir le modèle d'image. Les embeddings de T5 capturent l'ordre des mots, les relations et les longues descriptions d'une façon que ceux de CLIP ne permettent pas, ce qui a amélioré le respect du prompt et le rendu du texte dans les images.

L'approche s'est répandue. Stable Diffusion 3 et FLUX.1 utilisent T5-XXL aux côtés de CLIP, et de nombreux modèles vidéo utilisent des variantes de T5. C'est le fichier t5xxl, de plusieurs gigaoctets, que vous chargez dans ComfyUI. Comme l'encodeur compte à lui seul environ 4,7 milliards de paramètres, les versions quantifiées sont courantes. Les modèles d'image plus récents remplacent de plus en plus T5 par des LLM modernes comme encodeurs de texte.

Pourquoi le décodeur seul a gagné pour le chat

Si les encodeurs-décodeurs fonctionnent si bien, pourquoi les LLM d'aujourd'hui sont-ils à décodeur seul ? Surtout pour la simplicité et le passage à l'échelle. Un modèle à décodeur seul traite tout, prompt comme réponse, comme une seule séquence, ce qui rend simple l'entraînement sur du texte brut, la gestion des conversations à plusieurs tours et la mise en cache des calculs précédents. À grande échelle, il faisait au moins aussi bien. Les encodeurs-décodeurs gardent leur avantage là où l'entrée est entièrement connue d'avance et doit être comprise en profondeur : la traduction, le résumé, la reconnaissance vocale (Whisper est un encodeur-décodeur) et les signaux de conditionnement pour d'autres modèles.

← Tous les termes
ESC