跳到主要内容
Zubnet AI › 学习 › Wiki › T5
模型

T5

别名:Text-to-Text Transfer Transformer、Flan-T5
Google 的编码器-解码器模型,把所有语言任务都当作从一段文本到另一段文本的转换,至今仍广泛用作图像和视频生成模型的文本编码器。

为什么重要

T5 的重要性有两方面。从历史上看,它证明了用单一训练目标训练的单个模型几乎可以处理任何 NLP 任务,它那篇系统性的论文也成了如何做迁移学习的参考。它经过指令微调的后继者 Flan-T5,一度是遵循指令能力最强的小型开放模型。

从实用角度看,T5 至今仍运行在数量庞大的系统里,扮演着作者当初没有料到的角色:图像和视频生成模型里的文本编码器(text encoder)。如果你用过 FLUX.1、Stable Diffusion 3 或许多开放的视频模型,读取你提示的就是一个 T5 编码器。

深度解析

T5(Text-to-Text Transfer Transformer)由 Google 的研究人员在 2019 年提出。它的核心思路是不再为每个任务单独设计输出层。翻译、摘要、分类和问答都被统一成同一种形式:输入文本,输出文本。要告诉模型做什么,只需在输入前面加一个简短的前缀,比如 translate English to German: 或 summarize:。

这在今天听起来理所当然,因为大家都是这样使用 LLM 的。但在 2019 年,这是一次真正的转变,而 T5 正是确立这一做法的模型之一。

架构与训练

T5 采用最初的 Transformer 结构,既有编码器,用双向注意力读取输入,也有解码器,逐个 token 生成输出。这让它有别于 BERT(只有编码器)和 GPT(只有解码器)。

它在一个名为 C4 的大型网页文本语料库上预训练,采用的方法是 span corruption(片段破坏):随机的文本片段被替换成占位 token,模型学习生成缺失的片段。它是 BERT 掩码语言建模的近亲,只是改造成了适合输出文本的模型。最初发布时有五种尺寸,从 T5-Small(6000 万参数)到 T5-11B(110 亿参数)。

T5 家族

  • mT5:多语言版本,覆盖约 100 种语言。
  • ByT5:直接处理字节而不是 token,因此对拼写错误和不常见的文字系统更稳健。
  • Flan-T5(2022 年):在一千多个以指令形式表述的任务上微调过的 T5。它无需针对任务训练就能遵循新的指令,至今仍常用于低成本的分类和信息抽取。
  • T5Gemma(2025 年):Google 对编码器-解码器设计的回归,通过改造 Gemma 模型构建而成。

T5 的用途也早已超出语言领域。Amazon 的 Chronos 时间序列预测模型最初就建立在 T5 架构之上,基于 T5 的模型还被用于对搜索结果重排序和生成嵌入。

图像生成中的 T5

Google 的 Imagen 论文(2022 年)有一个出人意料的发现:只用文本训练的大型冻结语言模型 T5-XXL,作为图像生成的文本编码器比 CLIP 更好,而且扩大文本编码器比扩大图像模型更有帮助。T5 的嵌入能捕捉词序、关系和长描述,这是 CLIP 的嵌入做不到的,因此提示遵循度和图像中的文字渲染都得到了改善。

这种做法随后流行开来。Stable Diffusion 3 和 FLUX.1 同时使用 T5-XXL 和 CLIP,许多视频模型则使用 T5 的变体。你在 ComfyUI 里加载的那个好几 GB 的 t5xxl 文件就是它。由于单是编码器就有约 47 亿参数,量化版本很常见。更新的图像模型则越来越多地用现代 LLM 取代 T5 来充当文本编码器。

为什么仅解码器架构赢得了聊天

既然编码器-解码器效果这么好,为什么今天的 LLM 都是仅解码器架构?主要是因为简单和规模。仅解码器模型把提示和回复等所有内容都当作一个序列,这让它很容易在原始文本上训练,处理多轮对话,并缓存之前的计算。在大规模下,它的表现至少同样好。而在输入事先完全已知、又需要深入理解的场合,编码器-解码器仍保有优势:翻译、摘要、语音识别(Whisper 就是编码器-解码器)以及为其他模型提供条件信号。

← 所有术语
ESC