HBM
Por que isso importa
As cargas de trabalho de IA têm fome de memória de duas formas. A capacidade decide o que cabe: os pesos do modelo, o cache KV de cada conversa ativa, o lote em treinamento. A largura de banda, ou seja, a velocidade com que os dados se movem entre a memória e o processador, decide em grande parte a velocidade com que os tokens saem, porque gerar cada token significa percorrer os pesos do modelo.
A HBM também é um dos gargalos mais apertados do hardware de IA. Três empresas fabricam quase toda a HBM, a produção é vendida com muita antecedência, e o número de aceleradores de IA que o mundo consegue construir depende muito de quanta HBM está disponível.
Em profundidade
High Bandwidth Memory (memória de alta largura de banda) é o tipo de memória usado nos chips de IA de data center. Em vez de dispor os chips de memória lado a lado em uma placa de circuito, a HBM empilha muitos dies finos de DRAM uns sobre os outros e os conecta verticalmente com milhares de fios microscópicos chamados through-silicon vias (TSVs). A pilha fica a milímetros do processador, sobre uma base compartilhada, ligada por mais de mil conexões de dados.
O resultado é muito mais memória, movendo dados muito mais rápido, em muito menos espaço do que a memória convencional consegue. Quando alguém diz que uma NVIDIA H100 tem 80 GB de memória ou que uma AMD MI300X tem 192 GB, essa memória é HBM.
Como é fabricada
Uma pilha de HBM contém 8, 12 ou 16 dies de DRAM sobre um die de base. As TSVs levam os sinais verticalmente através da pilha. A pilha é então montada ao lado da GPU ou do acelerador sobre um interposer de silício, usando encapsulamento avançado como o CoWoS da TSMC. Essa etapa de encapsulamento tem sido um gargalo por si só.
Empilhar é difícil. Os dies precisam ser afinados e unidos com precisão, o calor tem de escapar do meio da pilha, e um único die defeituoso pode arruinar todos os outros. Os rendimentos de fabricação são menores e os custos muito maiores do que os da DRAM comum.
Gerações
- HBM2 e HBM2E (aproximadamente de 2016 a 2020): NVIDIA V100 e A100.
- HBM3 (2022 a 2023): NVIDIA H100 com 80 GB, AMD MI300X com 192 GB.
- HBM3E (2024 a 2025): NVIDIA H200 com 141 GB, GPUs Blackwell (B200) com cerca de 180 a 192 GB, GPUs Blackwell Ultra com 288 GB, AMD MI325X com 256 GB.
- HBM4 (a partir de 2026): a geração Rubin da NVIDIA e a série MI400 da AMD.
Cada geração aumenta tanto a capacidade por pilha quanto a largura de banda. Uma GPU atual de data center move vários terabytes por segundo entre memória e processador, várias vezes o que a memória GDDR de uma placa de vídeo de consumo consegue.
Quem fabrica
- SK hynix (Coreia do Sul) liderou o mercado e tem sido a principal fornecedora da NVIDIA.
- Samsung (Coreia do Sul) é a maior fabricante de memória no geral, mas ficou para trás na HBM3E e vem se recuperando.
- Micron (Estados Unidos) é a terceira fornecedora e ganhou participação.
A HBM consome cerca de três vezes mais capacidade de wafers por bit do que a DRAM padrão, então a virada da indústria em direção a ela aperta a oferta de memória comum. No fim de 2025, isso contribuiu para fortes altas de preço da DRAM comum usada em PCs, celulares e servidores.
Geopolítica
A HBM avançada está sujeita aos controles de exportação dos Estados Unidos. Desde dezembro de 2024, as vendas de HBM avançada para a China estão restritas, junto com os controles sobre os próprios chips de IA. Construir uma oferta doméstica de HBM virou prioridade para a indústria chinesa de chips.
Por que isso importa para quem trabalha com IA
Você nunca vai comprar HBM diretamente, mas ela define o que você consegue alugar ou comprar. A memória de um acelerador determina o maior modelo, o contexto mais longo e o maior lote com que ele consegue lidar, e a largura de banda de memória, mais do que a computação bruta, muitas vezes determina a velocidade de inferência. Ela também é boa parte do motivo pelo qual os aceleradores de IA custam o que custam, e pelo qual a oferta continua apertada mesmo quando a capacidade de fabricação de chips cresce.