Saltar al contenido principal
Zubnet AI › Aprender › Wiki › HBM
Infraestructura

HBM

También conocido como: High Bandwidth Memory, Memoria de alto ancho de banda
Chips de memoria apilados y empaquetados justo al lado de los procesadores de IA, que aportan la capacidad y la velocidad que necesitan los modelos grandes y son un cuello de botella clave en la cadena de suministro de chips de IA.

Por qué importa

Las cargas de trabajo de IA son voraces con la memoria de dos maneras. La capacidad decide qué cabe: los pesos del modelo, la caché KV de cada conversación activa, el lote que se está entrenando. El ancho de banda, es decir, qué tan rápido pueden moverse los datos entre la memoria y el procesador, decide en gran medida qué tan rápido salen los tokens, porque generar cada token implica recorrer los pesos del modelo.

La HBM también es uno de los cuellos de botella más estrechos del hardware de IA. Tres empresas fabrican casi toda la HBM, la producción se vende con mucha anticipación, y la cantidad de aceleradores de IA que el mundo puede construir depende mucho de cuánta HBM haya disponible.

En profundidad

La High Bandwidth Memory (memoria de alto ancho de banda) es el tipo de memoria que se usa en los chips de IA para centros de datos. En lugar de colocar los chips de memoria planos sobre una placa de circuito, la HBM apila muchos dados delgados de DRAM uno encima de otro y los conecta verticalmente con miles de cables microscópicos llamados vías a través del silicio (TSV, through-silicon vias). La pila queda a milímetros del procesador sobre una base compartida, unida por más de mil conexiones de datos.

El resultado es mucha más memoria, que mueve datos mucho más rápido, en mucho menos espacio de lo que logra la memoria convencional. Cuando se dice que una NVIDIA H100 tiene 80 GB de memoria o que una AMD MI300X tiene 192 GB, esa memoria es HBM.

Cómo se fabrica

Una pila de HBM contiene 8, 12 o 16 dados de DRAM sobre un dado base. Las TSV llevan las señales verticalmente a través de la pila. Luego la pila se monta junto a la GPU o el acelerador sobre un interposer de silicio, usando empaquetado avanzado como CoWoS de TSMC. Ese paso de empaquetado ha sido un cuello de botella por sí mismo.

Apilar es difícil. Los dados deben adelgazarse y unirse con precisión, el calor tiene que escapar del centro de la pila, y un solo dado defectuoso puede arruinar todos los demás. Los rendimientos de fabricación son más bajos y los costos mucho más altos que los de la DRAM común.

Generaciones

  • HBM2 y HBM2E (aproximadamente de 2016 a 2020): NVIDIA V100 y A100.
  • HBM3 (2022 a 2023): NVIDIA H100 con 80 GB, AMD MI300X con 192 GB.
  • HBM3E (2024 a 2025): NVIDIA H200 con 141 GB, GPU Blackwell (B200) con unos 180 a 192 GB, GPU Blackwell Ultra con 288 GB, AMD MI325X con 256 GB.
  • HBM4 (desde 2026): la generación Rubin de NVIDIA y la serie MI400 de AMD.

Cada generación aumenta tanto la capacidad por pila como el ancho de banda. Una GPU actual de centro de datos mueve varios terabytes por segundo entre la memoria y el procesador, varias veces lo que logra la memoria GDDR de una tarjeta gráfica de consumo.

Quién la fabrica

  • SK hynix (Corea del Sur) ha liderado el mercado y ha sido el principal proveedor de NVIDIA.
  • Samsung (Corea del Sur) es el mayor fabricante de memoria en general, pero se quedó atrás en HBM3E y ha estado recuperando terreno.
  • Micron (Estados Unidos) es el tercer proveedor y ha ganado participación.

La HBM requiere aproximadamente tres veces más capacidad de obleas por bit que la DRAM estándar, así que el giro de la industria hacia ella aprieta la oferta de memoria común. A finales de 2025 esto contribuyó a fuertes alzas de precio de la DRAM normal que se usa en PC, teléfonos y servidores.

Geopolítica

La HBM avanzada está cubierta por los controles de exportación de Estados Unidos. Desde diciembre de 2024, las ventas de HBM avanzada a China están restringidas, junto con los controles sobre los propios chips de IA. Construir un suministro nacional de HBM se ha vuelto una prioridad para la industria china de chips.

Por qué les importa a quienes trabajan con IA

Nunca vas a comprar HBM directamente, pero define lo que puedes alquilar o comprar. La memoria de un acelerador determina el modelo más grande, el contexto más largo y el lote más grande que puede manejar, y el ancho de banda de memoria, más que el cómputo bruto, suele determinar la velocidad de inferencia. También es buena parte de la razón por la que los aceleradores de IA cuestan lo que cuestan, y por la que la oferta sigue ajustada incluso cuando crece la capacidad de fabricación de chips.

← Todos los términos
ESC