Zubnet AI學習Wiki › Cerebras
公司

Cerebras

別名:Cerebras Systems、WSE
一家建造晶圓級 AI 處理器的晶片公司——晶片大小相當於整片矽晶圓,比標準 GPU 大 100 倍以上。Cerebras WSE-3(Wafer Scale Engine)包含 4 兆個電晶體和 900,000 個核心。其 CS-3 系統設計用於訓練和推理,提供數千個獨立 GPU 叢集的替代方案。

為什麼重要

Cerebras 代表了對 AI 硬體最激進的重新思考。不是將數千個小型晶片以有限的頻寬連接,而是將一切放在一個巨大的晶片上,具有巨大的晶片內記憶體頻寬。潛在優勢在於消除限制多 GPU 訓練的通訊瓶頸。晶圓級計算能否與 NVIDIA 龐大的生態系統競爭,是一個十億美元的問題。

深度解析

WSE-3 擁有 44 GB 的晶片上 SRAM——不是 HBM 或 DRAM,而是直接在計算晶片上的 SRAM。這提供約 21 PB/s 的記憶體頻寬,比 GPU HBM 頻寬高出數個數量級。對於記憶體頻寬受限的操作(如 LLM 推理,受限於讀取模型權重的速度),這是一個根本性的優勢。代價是:44 GB 的晶片上記憶體無法容納最大的模型,需要跨多個 CS-3 系統的模型平行策略。

推理速度

Cerebras 已展示了令人印象深刻的推理速度——以每秒超過 2,000 token 的速度服務 Llama-70B,與 Groq 的 LPU 具有競爭力甚至超越。方法不同(晶圓級晶片 vs. 確定性 ASIC),但結果相似:專門建造的硬體在 LLM token 生成這一特定工作負載上大幅超越 GPU。

相關概念

← 所有術語
← Catastrophic Forgetting Chatbot Arena →
ESC