Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › HBM
Infraestrutura

HBM

Também conhecido como: High Bandwidth Memory, Memória de alta largura de banda
Chips de memória empilhados e encapsulados bem ao lado dos processadores de IA, que fornecem a capacidade e a velocidade de que os modelos grandes precisam e são um gargalo importante na cadeia de suprimentos de chips de IA.

Por que isso importa

As cargas de trabalho de IA têm fome de memória de duas formas. A capacidade decide o que cabe: os pesos do modelo, o cache KV de cada conversa ativa, o lote em treinamento. A largura de banda, ou seja, a velocidade com que os dados se movem entre a memória e o processador, decide em grande parte a velocidade com que os tokens saem, porque gerar cada token significa percorrer os pesos do modelo.

A HBM também é um dos gargalos mais apertados do hardware de IA. Três empresas fabricam quase toda a HBM, a produção é vendida com muita antecedência, e o número de aceleradores de IA que o mundo consegue construir depende muito de quanta HBM está disponível.

Em profundidade

High Bandwidth Memory (memória de alta largura de banda) é o tipo de memória usado nos chips de IA de data center. Em vez de dispor os chips de memória lado a lado em uma placa de circuito, a HBM empilha muitos dies finos de DRAM uns sobre os outros e os conecta verticalmente com milhares de fios microscópicos chamados through-silicon vias (TSVs). A pilha fica a milímetros do processador, sobre uma base compartilhada, ligada por mais de mil conexões de dados.

O resultado é muito mais memória, movendo dados muito mais rápido, em muito menos espaço do que a memória convencional consegue. Quando alguém diz que uma NVIDIA H100 tem 80 GB de memória ou que uma AMD MI300X tem 192 GB, essa memória é HBM.

Como é fabricada

Uma pilha de HBM contém 8, 12 ou 16 dies de DRAM sobre um die de base. As TSVs levam os sinais verticalmente através da pilha. A pilha é então montada ao lado da GPU ou do acelerador sobre um interposer de silício, usando encapsulamento avançado como o CoWoS da TSMC. Essa etapa de encapsulamento tem sido um gargalo por si só.

Empilhar é difícil. Os dies precisam ser afinados e unidos com precisão, o calor tem de escapar do meio da pilha, e um único die defeituoso pode arruinar todos os outros. Os rendimentos de fabricação são menores e os custos muito maiores do que os da DRAM comum.

Gerações

  • HBM2 e HBM2E (aproximadamente de 2016 a 2020): NVIDIA V100 e A100.
  • HBM3 (2022 a 2023): NVIDIA H100 com 80 GB, AMD MI300X com 192 GB.
  • HBM3E (2024 a 2025): NVIDIA H200 com 141 GB, GPUs Blackwell (B200) com cerca de 180 a 192 GB, GPUs Blackwell Ultra com 288 GB, AMD MI325X com 256 GB.
  • HBM4 (a partir de 2026): a geração Rubin da NVIDIA e a série MI400 da AMD.

Cada geração aumenta tanto a capacidade por pilha quanto a largura de banda. Uma GPU atual de data center move vários terabytes por segundo entre memória e processador, várias vezes o que a memória GDDR de uma placa de vídeo de consumo consegue.

Quem fabrica

  • SK hynix (Coreia do Sul) liderou o mercado e tem sido a principal fornecedora da NVIDIA.
  • Samsung (Coreia do Sul) é a maior fabricante de memória no geral, mas ficou para trás na HBM3E e vem se recuperando.
  • Micron (Estados Unidos) é a terceira fornecedora e ganhou participação.

A HBM consome cerca de três vezes mais capacidade de wafers por bit do que a DRAM padrão, então a virada da indústria em direção a ela aperta a oferta de memória comum. No fim de 2025, isso contribuiu para fortes altas de preço da DRAM comum usada em PCs, celulares e servidores.

Geopolítica

A HBM avançada está sujeita aos controles de exportação dos Estados Unidos. Desde dezembro de 2024, as vendas de HBM avançada para a China estão restritas, junto com os controles sobre os próprios chips de IA. Construir uma oferta doméstica de HBM virou prioridade para a indústria chinesa de chips.

Por que isso importa para quem trabalha com IA

Você nunca vai comprar HBM diretamente, mas ela define o que você consegue alugar ou comprar. A memória de um acelerador determina o maior modelo, o contexto mais longo e o maior lote com que ele consegue lidar, e a largura de banda de memória, mais do que a computação bruta, muitas vezes determina a velocidade de inferência. Ela também é boa parte do motivo pelo qual os aceleradores de IA custam o que custam, e pelo qual a oferta continua apertada mesmo quando a capacidade de fabricação de chips cresce.

← Todos os termos
ESC