HBM
यह क्यों मायने रखता है
AI workloads को memory की भूख दो तरह से होती है। Capacity तय करती है कि क्या समा सकता है: model के weights, हर active conversation का KV cache, train हो रहा batch। Bandwidth, यानी data memory और processor के बीच कितनी तेज़ी से आ-जा सकता है, काफ़ी हद तक तय करती है कि tokens कितनी तेज़ी से निकलते हैं, क्योंकि हर token बनाने का मतलब model के weights को पढ़कर गुज़रना है।
HBM AI hardware के सबसे तंग bottlenecks में से भी एक है। इसका लगभग सारा उत्पादन तीन companies करती हैं, production बहुत पहले से बिक चुका होता है, और दुनिया कितने AI accelerators बना सकती है, यह काफ़ी हद तक इस पर निर्भर करता है कि कितना HBM उपलब्ध है।
गहन अध्ययन
High Bandwidth Memory वह memory है जो data center के AI chips में इस्तेमाल होती है। Memory chips को circuit board पर सपाट बिछाने के बजाय HBM कई पतली DRAM dies को एक के ऊपर एक रखता है और उन्हें हज़ारों सूक्ष्म तारों से खड़ी दिशा में जोड़ता है, जिन्हें through-silicon vias (TSVs) कहते हैं। यह stack एक साझा base पर processor से कुछ millimeters की दूरी पर बैठता है और एक हज़ार से ज़्यादा data connections से जुड़ा होता है।
नतीजा है कहीं ज़्यादा memory, जो data को कहीं ज़्यादा तेज़ी से ले जाती है, और वह भी पारंपरिक memory के मुकाबले कहीं कम जगह में। जब लोग कहते हैं कि NVIDIA H100 में 80 GB memory है या AMD MI300X में 192 GB, तो वह memory HBM ही है।
यह कैसे बनता है
एक HBM stack में एक base die के ऊपर 8, 12 या 16 DRAM dies होती हैं। TSVs signals को stack के आर-पार खड़ी दिशा में ले जाते हैं। फिर stack को TSMC के CoWoS जैसी advanced packaging से एक silicon interposer पर GPU या accelerator के बगल में लगाया जाता है। यह packaging step अपने-आप में एक bottleneck रहा है।
Stacking मुश्किल है। Dies को बारीकी से पतला करना और जोड़ना पड़ता है, गर्मी को stack के बीच से बाहर निकलना होता है, और एक खराब die बाकी सबको बर्बाद कर सकती है। Yields कम होते हैं और लागत सामान्य DRAM से कहीं ज़्यादा।
Generations
- HBM2 और HBM2E (लगभग 2016 से 2020): NVIDIA V100 और A100।
- HBM3 (2022 से 2023): 80 GB वाला NVIDIA H100, 192 GB वाला AMD MI300X।
- HBM3E (2024 से 2025): 141 GB वाला NVIDIA H200, लगभग 180 से 192 GB वाले Blackwell (B200) GPUs, 288 GB वाले Blackwell Ultra GPUs, 256 GB वाला AMD MI325X।
- HBM4 (2026 से): NVIDIA की Rubin generation और AMD की MI400 series।
हर generation प्रति stack capacity और bandwidth दोनों बढ़ाती है। आज का data center GPU memory और processor के बीच प्रति second कई terabytes ले जाता है, जो किसी consumer graphics card की GDDR memory से कई गुना ज़्यादा है।
इसे कौन बनाता है
- SK hynix (दक्षिण कोरिया) market में आगे रहा है और NVIDIA का मुख्य supplier रहा है।
- Samsung (दक्षिण कोरिया) कुल मिलाकर सबसे बड़ा memory maker है, लेकिन HBM3E में पीछे रह गया और अब बराबरी करने में लगा है।
- Micron (संयुक्त राज्य अमेरिका) तीसरा supplier है और उसने share बढ़ाया है।
HBM को standard DRAM के मुकाबले प्रति bit लगभग तीन गुना wafer capacity चाहिए, इसलिए industry का इसकी ओर झुकाव सामान्य memory की supply को दबाता है। 2025 के आखिर में इसने PCs, phones और servers में इस्तेमाल होने वाले सामान्य DRAM की कीमतों में तेज़ बढ़ोतरी में योगदान दिया।
Geopolitics
Advanced HBM अमेरिकी export controls के दायरे में आता है। दिसंबर 2024 से चीन को advanced HBM की बिक्री पर पाबंदी है, AI chips पर लगे controls के साथ-साथ। घरेलू HBM supply खड़ी करना चीन की chip industry की प्राथमिकता बन गया है।
Practitioners के लिए यह क्यों मायने रखता है
आप HBM कभी सीधे नहीं खरीदेंगे, लेकिन यह तय करता है कि आप क्या किराये पर ले सकते हैं या खरीद सकते हैं। Accelerator की memory तय करती है कि वह सबसे बड़ा model, सबसे लंबा context और सबसे बड़ा batch कौन-सा संभाल सकता है, और inference speed अक्सर raw compute से ज़्यादा memory bandwidth से तय होती है। यह इस बात की भी बड़ी वजह है कि AI accelerators की कीमत इतनी क्यों है, और chip fabrication capacity बढ़ने पर भी supply तंग क्यों रहती है।