跳到主要内容
Zubnet AI › 学习 › Wiki › HBM
基础设施

HBM

别名:High Bandwidth Memory、高带宽内存、高带宽存储器
堆叠起来并紧挨着 AI 处理器封装的内存芯片,提供大模型所需的容量和速度,也是 AI 芯片供应链中的关键瓶颈。

为什么重要

AI 工作负载对内存的渴求体现在两个方面。容量决定了能装下什么:模型的权重、每个活跃对话的 KV 缓存、正在训练的批次。带宽指数据在内存和处理器之间移动的速度,它在很大程度上决定了 token 输出的速度,因为每生成一个 token 都要把模型的权重读一遍。

HBM 也是 AI 硬件中最紧的瓶颈之一。全世界几乎所有 HBM 都由三家公司生产,产能早早就被订购一空,而全球能造出多少 AI 加速器,在很大程度上取决于有多少 HBM 可用。

深度解析

高带宽内存(High Bandwidth Memory,HBM)是数据中心 AI 芯片所用的内存类型。HBM 不是把内存芯片平铺在电路板上,而是把许多很薄的 DRAM 裸片一层层叠起来,并用数千根称为硅通孔(TSV,through-silicon via)的微小导线把它们垂直连通。这个堆叠体坐落在一块共用的基板上,离处理器只有几毫米,通过一千多条数据连接相连。

结果是,与传统内存相比,它能在小得多的空间里提供多得多的内存,数据传输也快得多。人们说 NVIDIA H100 有 80 GB 内存,或者 AMD MI300X 有 192 GB 内存,说的就是 HBM。

它是怎么造出来的

一个 HBM 堆叠体包含 8、12 或 16 片 DRAM 裸片,叠在一片基础裸片之上。TSV 让信号在堆叠体中垂直传递。然后,这个堆叠体借助台积电 CoWoS 这样的先进封装,被安装在硅中介层上,紧挨着 GPU 或加速器。这个封装环节本身也曾是一个瓶颈。

堆叠很难。裸片必须精确地减薄和键合,热量要从堆叠体中间散出来,而且一片坏的裸片就可能毁掉其余所有裸片。它的良率更低,成本也远高于普通 DRAM。

历代产品

  • HBM2 和 HBM2E(约 2016 至 2020 年):NVIDIA V100 和 A100。
  • HBM3(2022 至 2023 年):80 GB 的 NVIDIA H100、192 GB 的 AMD MI300X。
  • HBM3E(2024 至 2025 年):141 GB 的 NVIDIA H200、约 180 至 192 GB 的 Blackwell(B200)GPU、288 GB 的 Blackwell Ultra GPU、256 GB 的 AMD MI325X。
  • HBM4(2026 年起):NVIDIA 的 Rubin 一代和 AMD 的 MI400 系列。

每一代都同时提高了单个堆叠体的容量和带宽。当前的数据中心 GPU 每秒能在内存和处理器之间传输数 TB 的数据,是消费级显卡上 GDDR 内存的好几倍。

谁在生产

  • SK 海力士(韩国)一直领跑市场,也是 NVIDIA 的主要供应商。
  • 三星(韩国)是整体上最大的内存厂商,但在 HBM3E 上落后了,目前正在追赶。
  • 美光(美国)是第三家供应商,份额有所上升。

按每比特计算,HBM 占用的晶圆产能大约是标准 DRAM 的三倍,所以行业向它倾斜就挤压了普通内存的供应。2025 年底,这推动了 PC、手机和服务器所用的普通 DRAM 价格大幅上涨。

地缘政治

先进 HBM 受美国出口管制的约束。自 2024 年 12 月起,向中国销售先进 HBM 受到限制,与针对 AI 芯片本身的管制并行。建立本土的 HBM 供应已经成为中国芯片产业的优先事项。

为什么从业者需要关心

你永远不会直接购买 HBM,但它决定了你能租到或买到什么。加速器上的内存决定了它能处理的最大模型、最长上下文和最大批次,而决定推理速度的往往是内存带宽,而不是纯粹的算力。它也是 AI 加速器价格如此之高的重要原因,也是即使芯片制造产能增长、供应依然紧张的重要原因。

← 所有术语
ESC