Cerebras

यह क्यों मायने रखता है

गहन अध्ययन

WSE-3 में 44 GB ऑन-चिप SRAM है — HBM या DRAM नहीं, बल्कि compute die पर सीधे SRAM। यह ~21 PB/s मेमोरी bandwidth प्रदान करता है, GPU HBM bandwidth से कई गुना अधिक। मेमोरी-bandwidth-bound ऑपरेशन (जैसे LLM inference, जो मॉडल वज़न को कितनी तेज़ी से पढ़ सकता है इससे सीमित होता है) के लिए, यह एक मौलिक लाभ है। ट्रेड-ऑफ: 44 GB ऑन-चिप मेमोरी सबसे बड़े मॉडल को नहीं रख सकती, जिसके लिए कई CS-3 सिस्टम में model-parallel रणनीतियों की आवश्यकता होती है।

Inference गति

Cerebras ने प्रभावशाली inference गति का प्रदर्शन किया है — Llama-70B को 2,000 से अधिक टोकन/सेकंड पर सेवा देना, Groq के LPU के बराबर या उससे अधिक। दृष्टिकोण अलग है (वेफ़र-स्केल चिप बनाम deterministic ASICs) लेकिन परिणाम समान है: विशेष-निर्मित हार्डवेयर जो LLM टोकन जनरेशन के विशिष्ट workload के लिए GPUs से नाटकीय रूप से बेहतर प्रदर्शन करता है।

संबंधित अवधारणाएँ