Saltar al contenido principal
Zubnet AI › Aprender › Wiki › T5
Modelos

T5

También conocido como: Text-to-Text Transfer Transformer, Flan-T5
El modelo codificador-decodificador de Google que trata toda tarea de lenguaje como convertir un texto en otro, y que aún se usa mucho como codificador de texto en generadores de imágenes y video.

Por qué importa

T5 importa por dos razones. En lo histórico, mostró que un solo modelo con un solo objetivo de entrenamiento podía manejar casi cualquier tarea de NLP, y su artículo, muy sistemático, se volvió una referencia sobre cómo hacer aprendizaje por transferencia. Su sucesor ajustado con instrucciones, Flan-T5, fue durante un tiempo el mejor modelo abierto pequeño para seguir instrucciones.

En lo práctico, T5 sigue funcionando en una cantidad enorme de sistemas, en un papel que sus autores no planearon: como codificador de texto (text encoder) dentro de generadores de imágenes y video. Si has usado FLUX.1, Stable Diffusion 3 o muchos modelos abiertos de video, un codificador T5 leyó tu prompt.

En profundidad

T5, el Text-to-Text Transfer Transformer, fue presentado por investigadores de Google en 2019. Su idea central era dejar de construir una capa de salida distinta para cada tarea. Traducción, resumen, clasificación y respuesta a preguntas se planteaban todas de la misma forma: entra texto, sale texto. Para decirle al modelo qué hacer, pones un prefijo corto en la entrada, como translate English to German: o summarize:.

Hoy eso suena obvio, porque es como todo el mundo usa los LLM. En 2019 fue un cambio real, y T5 fue uno de los modelos que lo consolidaron.

Arquitectura y entrenamiento

T5 usa el diseño original del Transformer, de tipo encoder-decoder, con un codificador, que lee la entrada con atención bidireccional, y un decodificador, que genera la salida token por token. Eso lo distingue de BERT (solo codificador) y de GPT (solo decodificador).

Se preentrenó con un gran corpus de texto de la web llamado C4 usando span corruption (corrupción de tramos): tramos aleatorios de texto se reemplazan por tokens de relleno, y el modelo aprende a generar los tramos que faltan. Es un primo del modelado de lenguaje enmascarado de BERT, adaptado a un modelo que produce texto. La versión original salió en cinco tamaños, desde T5-Small (60 millones de parámetros) hasta T5-11B (11.000 millones).

La familia

  • mT5: una versión multilingüe que cubre unos 100 idiomas.
  • ByT5: trabaja directamente con bytes en lugar de tokens, lo que lo hace robusto ante errores ortográficos y sistemas de escritura poco comunes.
  • Flan-T5 (2022): T5 con fine-tuning en más de mil tareas formuladas como instrucciones. Podía seguir instrucciones nuevas sin entrenamiento específico para la tarea y sigue siendo popular para clasificación y extracción baratas.
  • T5Gemma (2025): el regreso de Google al diseño codificador-decodificador, construido adaptando modelos Gemma.

T5 también se ha reutilizado mucho más allá del lenguaje. Los modelos Chronos de Amazon para pronóstico de series de tiempo se construyeron originalmente sobre la arquitectura T5, y se han usado modelos basados en T5 para reclasificar resultados de búsqueda (reranking) y producir embeddings.

T5 en la generación de imágenes

El artículo de Imagen de Google (2022) hizo un hallazgo sorprendente: un gran modelo de lenguaje congelado y entrenado solo con texto, T5-XXL, era mejor codificador de texto para generar imágenes que CLIP, y agrandar el codificador de texto ayudaba más que agrandar el modelo de imagen. Los embeddings de T5 capturan el orden de las palabras, las relaciones y las descripciones largas de una manera que los de CLIP no logran, lo que mejoró el seguimiento del prompt y el renderizado de texto dentro de las imágenes.

El enfoque se extendió. Stable Diffusion 3 y FLUX.1 usan T5-XXL junto con CLIP, y muchos modelos de video usan variantes de T5. Este es el archivo t5xxl, de varios gigabytes, que cargas en ComfyUI. Como el codificador por sí solo tiene unos 4.700 millones de parámetros, las versiones cuantizadas son comunes. Los modelos de imagen más nuevos reemplazan cada vez más a T5 por LLM modernos como codificadores de texto.

Por qué los modelos solo decodificador ganaron en el chat

Si los codificadores-decodificadores funcionan tan bien, ¿por qué los LLM de hoy son solo decodificador? Sobre todo por simplicidad y escala. Un modelo solo decodificador trata todo, tanto el prompt como la respuesta, como una sola secuencia, lo que hace sencillo entrenarlo con texto en bruto, manejar conversaciones de varios turnos y guardar en caché el cómputo anterior. A gran escala, rindió al menos igual de bien. Los codificadores-decodificadores conservan su ventaja donde la entrada se conoce por completo de antemano y debe entenderse a fondo: traducción, resumen, reconocimiento de voz (Whisper es un codificador-decodificador) y señales de condicionamiento para otros modelos.

← Todos los términos
ESC