跳到主要內容
Zubnet AI › 學習 › Wiki › HBM
基礎設施

HBM

別名:High Bandwidth Memory、高頻寬記憶體
堆疊起來並緊挨著 AI 處理器封裝的記憶體晶片,提供大模型所需的容量和速度,也是 AI 晶片供應鏈中的關鍵瓶頸。

為什麼重要

AI 工作負載對記憶體的渴求體現在兩個方面。容量決定了能裝下什麼:模型的權重、每個活躍對話的 KV 快取、正在訓練的批次。頻寬指資料在記憶體和處理器之間移動的速度,它在很大程度上決定了 token 輸出的速度,因為每生成一個 token 都要把模型的權重讀一遍。

HBM 也是 AI 硬體中最緊的瓶頸之一。全世界幾乎所有 HBM 都由三家公司生產,產能早早就被訂購一空,而全球能造出多少 AI 加速器,在很大程度上取決於有多少 HBM 可用。

深度解析

高頻寬記憶體(High Bandwidth Memory,HBM)是資料中心 AI 晶片所用的記憶體類型。HBM 不是把記憶體晶片平鋪在電路板上,而是把許多很薄的 DRAM 裸晶一層層疊起來,並用數千根稱為矽穿孔(TSV,through-silicon via)的微小導線把它們垂直連通。這個堆疊體坐落在一塊共用的基板上,離處理器只有幾公釐,透過一千多條資料連線相連。

結果是,與傳統記憶體相比,它能在小得多的空間裡提供多得多的記憶體,資料傳輸也快得多。人們說 NVIDIA H100 有 80 GB 記憶體,或者 AMD MI300X 有 192 GB 記憶體,說的就是 HBM。

它是怎麼造出來的

一個 HBM 堆疊體包含 8、12 或 16 片 DRAM 裸晶,疊在一片基礎裸晶之上。TSV 讓訊號在堆疊體中垂直傳遞。然後,這個堆疊體藉助台積電 CoWoS 這樣的先進封裝,被安裝在矽中介層上,緊挨著 GPU 或加速器。這個封裝環節本身也曾是一個瓶頸。

堆疊很難。裸晶必須精確地減薄和接合,熱量要從堆疊體中間散出來,而且一片壞的裸晶就可能毀掉其餘所有裸晶。它的良率更低,成本也遠高於普通 DRAM。

歷代產品

  • HBM2 和 HBM2E(約 2016 至 2020 年):NVIDIA V100 和 A100。
  • HBM3(2022 至 2023 年):80 GB 的 NVIDIA H100、192 GB 的 AMD MI300X。
  • HBM3E(2024 至 2025 年):141 GB 的 NVIDIA H200、約 180 至 192 GB 的 Blackwell(B200)GPU、288 GB 的 Blackwell Ultra GPU、256 GB 的 AMD MI325X。
  • HBM4(2026 年起):NVIDIA 的 Rubin 一代和 AMD 的 MI400 系列。

每一代都同時提高了單個堆疊體的容量和頻寬。當前的資料中心 GPU 每秒能在記憶體和處理器之間傳輸數 TB 的資料,是消費級顯示卡上 GDDR 記憶體的好幾倍。

誰在生產

  • SK 海力士(韓國)一直領跑市場,也是 NVIDIA 的主要供應商。
  • 三星(韓國)是整體上最大的記憶體廠商,但在 HBM3E 上落後了,目前正在追趕。
  • 美光(美國)是第三家供應商,市占率有所上升。

按每位元計算,HBM 佔用的晶圓產能大約是標準 DRAM 的三倍,所以產業向它傾斜就擠壓了普通記憶體的供應。2025 年底,這推動了 PC、手機和伺服器所用的普通 DRAM 價格大幅上漲。

地緣政治

先進 HBM 受美國出口管制的約束。自 2024 年 12 月起,向中國銷售先進 HBM 受到限制,與針對 AI 晶片本身的管制並行。建立本土的 HBM 供應已經成為中國晶片產業的優先事項。

為什麼從業者需要關心

你永遠不會直接購買 HBM,但它決定了你能租到或買到什麼。加速器上的記憶體決定了它能處理的最大模型、最長上下文和最大批次,而決定推論速度的往往是記憶體頻寬,而不是純粹的算力。它也是 AI 加速器價格如此之高的重要原因,也是即使晶片製造產能增長、供應依然緊張的重要原因。

← 所有術語
ESC