TPU
為什麼重要
深度解析
TPU 始於一項觀察：深度學習主要由矩陣乘法組成，因此速度最快的晶片，應該專注於矩陣乘法並盡量減少其他功能。GPU 包含數千個彈性核心，以及快取、排程器和指令解碼器；TPU 則移除其中大部分元件，將矽晶片專門用於直接由高頻寬記憶體供應資料的大型乘加陣列。Google 於 2015 年在內部部署第一代 TPU 進行推論，此後約每兩年迭代一次：v2 至 v4 將設計擴展為數千顆晶片組成的訓練 pod，v5p 和 v6（Trillium）進一步擴大 pod 規模，而 v7（Ironwood，於 2025 年公布）是第一代主要為推論打造的版本。其成果是在前沿訓練上大規模替代 NVIDIA 硬體、歷時最久的方案——每一代 Gemini 均以 TPU 訓練；多年來 NVIDIA 以外沒有其他晶片曾訓練相同等級的模型，直到亞馬遜的 Trainium 達到相當規模：Anthropic 表示已使用超過一百萬顆 Trainium2 晶片來訓練與服務 Claude。
脈動陣列如何運作
TPU 的核心是矩陣乘法單元（MXU），也就是脈動陣列——由數萬個簡單乘加元件構成的網格，各元件均直接連接相鄰元件。權重會事先載入網格，活化值再從一側串流進入，以規律節奏流經陣列；每個元件會執行乘法、加法，再將結果向下傳遞。由於資料在相鄰元件間移動，而不經過快取階層，幾乎不需將矽晶片面積用於快取、分支預測器或指令解碼，因此晶片的大部分面積與能源都用於算術運算。代價是缺乏彈性：只有當編譯器能將工作負載切割成大型、密集的矩陣乘法時，陣列才能有效運作——而 Transformer 訓練與推論正是由這類運算構成。MXU 周圍還有用於逐元素運算的向量單元、用於控制流程的純量單元，以及多層高頻寬記憶體；從第二代起，晶片便使用 bfloat16 運算，這是 Google 隨 TPU 推出的低精確度格式，也由此開啟現代混合精度訓練時代。
從 v1 到 Ironwood
每一代 TPU 都遵循相同發展方向：提高每顆晶片的運算能力、增加記憶體頻寬，並擴大 pod。2015 年推出的 v1 僅支援推論，是一款在幕後為 Google 正式環境工作負載提供服務的 8-bit 加速器——Google 後來透露，AlphaGo 在 2016 年的對弈便使用 TPU。TPU v2（2017）加入浮點訓練並引進 pod：256 顆晶片透過客製化互連結合，像單一機器般運作，成為大規模分散式訓練的早期藍圖。v3（2018）進一步擴充至 1,024 顆晶片的 pod，並採用液體冷卻；v4（2021）則達到每個 pod 4,096 顆晶片，晶片間以可重新設定的光學連結相連。2023 年的 v5 世代分為兩種——針對成本最佳化的 v5e 與高階 v5p——後續則有 2024 年的 v6（Trillium）與 2025 年的 v7（Ironwood）；v7 在單一 pod 中容納 9,216 顆晶片，額定效能為 42.5 exaFLOPS，也是第一款主要為推論而非訓練打造的 TPU。
軟體堆疊
硬體只說明一半，另一半是 Google 編譯器 XLA，它會將模型運算圖對應至脈動陣列。第一代軟體堆疊以 TensorFlow 為預設，而且 TensorFlow 至今仍享有第一級支援；不過，生態系此後轉為以 JAX 為中心，其函數式風格與 XLA 十分契合，而 PyTorch 則透過 PyTorch/XLA 橋接器提供支援。TPU 與 GPU 真正的差異就在這裡：NVIDIA 的 CUDA 擁有十多年的函式庫、核心程式與組織經驗，TPU 上的一切則必須經過完整運算圖編譯器。當編譯器能順利處理模型時——標準 Transformer 架構通常符合條件——使用率會非常出色，往往優於 GPU。模型若包含特殊運算或動態形狀，開發人員卻可能花上數天調整 XLA；因此，選擇 TPU 既是軟體決策，也是硬體決策，任何嚴謹的AI 基礎設施計畫都必須納入考量。
你買不到一顆
一個根深蒂固的誤解，是認為 TPU 和 GPU 在相同意義上互為競爭產品——也就是可以訂購並安裝在自家伺服器機架中的介面卡。事實並非如此。Google 從未將 TPU 當作獨立硬體銷售（唯一例外是針對嵌入式裝置的小型 Edge TPU 協同處理器），因此使用完整 TPU 的唯一方式，就是在 Google Cloud 上租用 pod 的一部分。這形塑了所有採用方式：沒有內部部署的 TPU 叢集、沒有二手市場，也無法在私人實驗室中將 TPU 與 GPU 進行基準比較。這也代表 Google 能掌控從矽晶片到資料中心的完整堆疊，正是其經濟效益得以成立的部分原因。TPU 帶給業界更廣泛的啟示，是客製化晶片確實可行：Groq 由啟動 TPU 專案的工程師創立，而 Amazon、Microsoft、Meta 與 OpenAI 此後也都展開自家的客製化 AI 晶片計畫。
究竟誰在使用 TPU
最主要的使用者是 Google 自己：Google DeepMind 透過 TPU pod 訓練每一代 Gemini 並提供服務，Google 其餘正式環境模型也是如此；TPU 過去也支撐 AlphaGo 與 AlphaFold 等系統。更值得注意的訊號來自其他使用者。Anthropic 以極大規模在 TPU 上執行 Claude，並於 2025 年承諾最多使用 100 萬顆 TPU；Apple 則在 v4 與 v5p 叢集上訓練 Apple Intelligence 背後的基礎模型，並在自家技術報告中明確說明。賣點很直接——ASIC 省略通用機制，因此當工作負載適合時，TPU 通常能比 GPU 提供更高的每美元及每瓦運算量；隨著 AI 能源消耗成為實質限制，這項差距更顯重要。問題則與軟體章節相互呼應：軟體堆疊已大幅投資 CUDA 的團隊很少移轉，而原本使用 JAX 或願意統一採用編譯器驅動工作流程的團隊，往往會發現 TPU 是訓練大型模型最便宜的方式。