Groq
別名：Groq LPU
專為 AI 推理設計的自研晶片（LPU）。專為序列性詞元生成打造。500–800 tok/s，通常比 GPU 快 10 倍。
為什麼重要
證明了推理不一定要慢。硬體方案 vs 軟體優化。
深度解析
確定性執行模型消除了排程開銷。權衡：僅限推理，最適合標準 Transformer 模式。每詞元成本仍在演進中。
專為 AI 推理設計的自研晶片（LPU）。專為序列性詞元生成打造。500–800 tok/s，通常比 GPU 快 10 倍。
確定性執行模型消除了排程開銷。權衡：僅限推理，最適合標準 Transformer 模式。每詞元成本仍在演進中。