Zubnet AI学习Wiki › Cerebras
公司

Cerebras

别名:Cerebras Systems、WSE
一家芯片公司,构建晶圆级AI处理器——芯片大小为整个硅晶圆,比标准GPU大100倍以上。Cerebras WSE-3(晶圆级引擎)包含4万亿个晶体管和90万个核心。其CS-3系统设计用于训练和推理,提供了一种替代数千个独立GPU集群的方案。

为什么重要

Cerebras代表了对AI硬件最激进的重新思考。他们不是用有限带宽连接数千个小芯片,而是将所有东西放在一块巨大的芯片上,具有极大的片上内存带宽。潜在优势是消除限制多GPU训练的通信瓶颈。晶圆级计算能否与NVIDIA庞大的生态系统竞争是一个价值数十亿美元的问题。

深度解析

WSE-3拥有44 GB的片上SRAM——不是HBM或DRAM,而是直接在计算芯片上的SRAM。这提供了约21 PB/s的内存带宽,比GPU HBM带宽高出多个数量级。对于受内存带宽限制的操作(如LLM推理,受限于读取模型权重的速度),这是一个根本性的优势。权衡在于:44 GB的片上内存无法容纳最大的模型,需要跨多个CS-3系统的模型并行策略。

推理速度

Cerebras展示了令人印象深刻的推理速度——以超过每秒2000个token的速度服务Llama-70B,与Groq的LPU相当或超过。方法不同(晶圆级芯片 vs. 确定性ASIC),但结果类似:为LLM token生成这一特定工作负载而构建的专用硬件,大幅超越GPU的性能。

相关概念

← 所有术语
← Catastrophic Forgetting Chatbot Arena →