Aller au contenu principal
Zubnet AI › Apprendre › Wiki › HBM
Infrastructure

HBM

Aussi appelé : High Bandwidth Memory, Mémoire à large bande passante
Des puces mémoire empilées et placées tout contre les processeurs d'IA, qui fournissent la capacité et la vitesse dont les grands modèles ont besoin et constituent un goulot d'étranglement majeur de la chaîne d'approvisionnement des puces d'IA.

Pourquoi c'est important

Les charges de travail d'IA sont gourmandes en mémoire de deux façons. La capacité décide de ce qui tient : les poids du modèle, le cache KV de chaque conversation active, le lot en cours d'entraînement. La bande passante, c'est-à-dire la vitesse à laquelle les données circulent entre la mémoire et le processeur, décide en grande partie de la vitesse à laquelle les tokens sortent, car générer chaque token suppose de parcourir les poids du modèle.

La HBM est aussi l'un des goulots d'étranglement les plus serrés du matériel d'IA. Trois entreprises en fabriquent la quasi-totalité, la production est vendue longtemps à l'avance, et le nombre d'accélérateurs d'IA que le monde peut construire dépend fortement de la quantité de HBM disponible.

En profondeur

La High Bandwidth Memory (mémoire à large bande passante) est le type de mémoire utilisé dans les puces d'IA pour centres de données. Au lieu de poser les puces mémoire à plat sur un circuit imprimé, la HBM empile de nombreuses puces DRAM très fines les unes sur les autres et les relie verticalement par des milliers de fils microscopiques appelés through-silicon vias (TSV). La pile se trouve à quelques millimètres du processeur, sur une base commune, reliée par plus d'un millier de connexions de données.

Le résultat : beaucoup plus de mémoire, qui déplace les données beaucoup plus vite, dans beaucoup moins de place que ce que permet la mémoire classique. Quand on dit qu'un NVIDIA H100 a 80 Go de mémoire ou qu'un AMD MI300X en a 192 Go, cette mémoire est de la HBM.

Comment elle est fabriquée

Une pile HBM contient 8, 12 ou 16 puces DRAM posées sur une puce de base. Les TSV transportent les signaux verticalement à travers la pile. La pile est ensuite montée à côté du GPU ou de l'accélérateur sur un interposeur en silicium, grâce à un packaging avancé comme le CoWoS de TSMC. Cette étape de packaging a été un goulot d'étranglement à elle seule.

L'empilement est difficile. Les puces doivent être amincies et collées avec précision, la chaleur doit s'échapper du milieu de la pile, et une seule puce défectueuse peut gâcher toutes les autres. Les rendements sont plus faibles et les coûts bien plus élevés que pour la DRAM ordinaire.

Générations

  • HBM2 et HBM2E (environ 2016 à 2020) : NVIDIA V100 et A100.
  • HBM3 (2022 à 2023) : NVIDIA H100 avec 80 Go, AMD MI300X avec 192 Go.
  • HBM3E (2024 à 2025) : NVIDIA H200 avec 141 Go, GPU Blackwell (B200) avec environ 180 à 192 Go, GPU Blackwell Ultra avec 288 Go, AMD MI325X avec 256 Go.
  • HBM4 (à partir de 2026) : la génération Rubin de NVIDIA et la série MI400 d'AMD.

Chaque génération augmente à la fois la capacité par pile et la bande passante. Un GPU actuel pour centre de données déplace plusieurs téraoctets par seconde entre la mémoire et le processeur, plusieurs fois ce que permet la mémoire GDDR d'une carte graphique grand public.

Qui la fabrique

  • SK hynix (Corée du Sud) a dominé le marché et a été le principal fournisseur de NVIDIA.
  • Samsung (Corée du Sud) est le plus grand fabricant de mémoire au total, mais il a pris du retard sur la HBM3E et le rattrape depuis.
  • Micron (États-Unis) est le troisième fournisseur et a gagné des parts de marché.

La HBM demande environ trois fois plus de capacité de wafers par bit que la DRAM standard, de sorte que le virage de l'industrie vers elle comprime l'offre de mémoire ordinaire. Fin 2025, cela a contribué à de fortes hausses de prix de la DRAM classique utilisée dans les PC, les téléphones et les serveurs.

Géopolitique

La HBM avancée est soumise aux contrôles à l'exportation américains. Depuis décembre 2024, les ventes de HBM avancée à la Chine sont restreintes, en parallèle des contrôles sur les puces d'IA elles-mêmes. Bâtir une filière nationale de HBM est devenu une priorité pour l'industrie chinoise des puces.

Pourquoi c'est important pour les praticiens

Vous n'achèterez jamais de HBM directement, mais elle façonne ce que vous pouvez louer ou acheter. La mémoire d'un accélérateur fixe le plus gros modèle, le plus long contexte et le plus gros lot qu'il peut traiter, et c'est souvent la bande passante mémoire, plus que le calcul brut, qui fixe la vitesse d'inférence. C'est aussi une grande partie de la raison pour laquelle les accélérateurs d'IA coûtent ce qu'ils coûtent, et pour laquelle l'offre reste tendue même quand la capacité de fabrication de puces augmente.

← Tous les termes
ESC