OpenAI與Broadcom發表了Jalapeno,這是OpenAI首款自訂AI晶片,一款專為執行大型語言模型而非訓練它們所打造的加速器。兩家公司均證實了這項發表,並將其定位為雙方共同打造的橫跨多個世代運算平台的第一步。這類晶片的意義既狹窄又重要:推論,也就是實際回答提示的工作,是模型部署後大部分成本所在之處,而一款只為這項任務調校的晶片,能比通用GPU更便宜地完成它。
最引人注目的細節是它組裝的速度。OpenAI與Broadcom表示,他們從初步設計到製造流片只花了約九個月,並形容這可能是這類高效能晶片有史以來達成的最快開發週期。據OpenAI所述,能達到這種步調的部分原因,是該公司運用自家模型加速了設計與最佳化流程中的部分環節。光是這一點本身就是個低調卻值得注意的宣稱:一家AI實驗室用它當前的模型,來協助打造將執行其下一代模型的硬體。
在技術層面,這套架構鎖定的是真正限制推論效能的東西,也就是資料的搬移而非純粹的運算。Jalapeno的設計目的是減少這種資料搬移,並平衡運算、記憶體與網路,好讓實際使用率更貼近理論峰值,而多數晶片在這方面都遠遠不及。早期測試,同樣出自OpenAI自身,指向其每瓦效能大幅優於目前的業界頂尖水準。計畫是在2026年底進行初步部署,並在其後數年擴大規模,有報導指出Microsoft將拿下約40%的產出。
這件事之所以重要,意義遠不止於一款晶片。Nvidia對AI的掌控,一直建立在賣出幾乎人人用來訓練與執行模型的GPU上,而其利潤把所服務的每一個token都變成向上游繳出的款項。Google打造了它的TPU,Amazon打造了Trainium與Inferentia,正是基於同樣的理由:以OpenAI的規模,設計自家的矽晶片比永遠租用別人的更便宜。Jalapeno就是OpenAI加入這個俱樂部,試圖掌握其產品底下更多的技術堆疊,好讓提供智慧的成本更低,也更不必仰賴單一供應商。
誠實的解讀仍有其侷限。這是推論加速器,而非訓練晶片,因此它並未觸及Nvidia最根深柢固的那一段流程。效能數字出自OpenAI自身,未經獨立測試,這款晶片尚未大規模運行,而且自訂矽晶片向來有一段在投影片上看起來比在資料中心裡更亮眼的長久歷史。但九個月的時程、一個指名道姓的超大規模業者買家,加上清晰的策略動機,這組合起來的訊號很難讓人忽視。負擔得起自製晶片的公司正在這麼做,而AI領域裡誰付錢給誰的經濟學,正開始轉變。
