Zubnet AI學習Wiki › Groq
公司

Groq

別名:Groq LPU

專為 AI 推理設計的自研晶片(LPU)。專為序列性詞元生成打造。500–800 tok/s,通常比 GPU 快 10 倍。

為什麼重要

證明了推理不一定要慢。硬體方案 vs 軟體優化。

深度解析

確定性執行模型消除了排程開銷。權衡:僅限推理,最適合標準 Transformer 模式。每詞元成本仍在演進中。

相關概念

← 所有術語