跳到主要內容
Zubnet AI › 學習 › Wiki › T5
模型

T5

別名:Text-to-Text Transfer Transformer、Flan-T5
Google 的編碼器-解碼器模型,把所有語言任務都當作從一段文字到另一段文字的轉換,至今仍廣泛用作影像和影片生成模型的文字編碼器。

為什麼重要

T5 的重要性有兩方面。從歷史上看,它證明了用單一訓練目標訓練的單個模型幾乎可以處理任何 NLP 任務,它那篇系統性的論文也成了如何做遷移學習的參考。它經過指令微調的後繼者 Flan-T5,一度是遵循指令能力最強的小型開放模型。

從實用角度看,T5 至今仍在數量龐大的系統裡運作,扮演著作者當初沒有料到的角色:影像和影片生成模型裡的文字編碼器(text encoder)。如果你用過 FLUX.1、Stable Diffusion 3 或許多開放的影片模型,讀取你提示的就是一個 T5 編碼器。

深度解析

T5(Text-to-Text Transfer Transformer)由 Google 的研究人員在 2019 年提出。它的核心思路是不再為每個任務單獨設計輸出層。翻譯、摘要、分類和問答都被統一成同一種形式:輸入文字,輸出文字。要告訴模型做什麼,只需在輸入前面加一個簡短的前綴,比如 translate English to German: 或 summarize:。

這在今天聽起來理所當然,因為大家都是這樣使用 LLM 的。但在 2019 年,這是一次真正的轉變,而 T5 正是確立這一做法的模型之一。

架構與訓練

T5 採用最初的 Transformer 結構,既有編碼器,用雙向注意力讀取輸入,也有解碼器,逐個 token 生成輸出。這讓它有別於 BERT(只有編碼器)和 GPT(只有解碼器)。

它在一個名為 C4 的大型網頁文字語料庫上預訓練,採用的方法是 span corruption(片段破壞):隨機的文字片段被替換成佔位 token,模型學習生成缺失的片段。它是 BERT 遮罩語言建模的近親,只是改造成了適合輸出文字的模型。最初發布時有五種尺寸,從 T5-Small(6000 萬參數)到 T5-11B(110 億參數)。

T5 家族

  • mT5:多語言版本,覆蓋約 100 種語言。
  • ByT5:直接處理位元組而不是 token,因此對拼寫錯誤和不常見的文字系統更穩健。
  • Flan-T5(2022 年):在一千多個以指令形式表述的任務上微調過的 T5。它無需針對任務訓練就能遵循新的指令,至今仍常用於低成本的分類和資訊擷取。
  • T5Gemma(2025 年):Google 對編碼器-解碼器設計的回歸,透過改造 Gemma 模型建構而成。

T5 的用途也早已超出語言領域。Amazon 的 Chronos 時間序列預測模型最初就建立在 T5 架構之上,基於 T5 的模型還被用於對搜尋結果重排序和生成嵌入。

影像生成中的 T5

Google 的 Imagen 論文(2022 年)有一個出人意料的發現:只用文字訓練的大型凍結語言模型 T5-XXL,作為影像生成的文字編碼器比 CLIP 更好,而且擴大文字編碼器比擴大影像模型更有幫助。T5 的嵌入能捕捉詞序、關係和長描述,這是 CLIP 的嵌入做不到的,因此提示遵循度和影像中的文字渲染都得到了改善。

這種做法隨後流行開來。Stable Diffusion 3 和 FLUX.1 同時使用 T5-XXL 和 CLIP,許多影片模型則使用 T5 的變體。你在 ComfyUI 裡載入的那個好幾 GB 的 t5xxl 檔案就是它。由於單是編碼器就有約 47 億參數,量化版本很常見。更新的影像模型則越來越多地用現代 LLM 取代 T5 來充當文字編碼器。

為什麼僅解碼器架構贏得了聊天

既然編碼器-解碼器效果這麼好,為什麼今天的 LLM 都是僅解碼器架構?主要是因為簡單和規模。僅解碼器模型把提示和回覆等所有內容都當作一個序列,這讓它很容易在原始文字上訓練,處理多輪對話,並快取之前的計算。在大規模下,它的表現至少同樣好。而在輸入事先完全已知、又需要深入理解的場合,編碼器-解碼器仍保有優勢:翻譯、摘要、語音辨識(Whisper 就是編碼器-解碼器)以及為其他模型提供條件訊號。

← 所有術語
ESC