為什麼重要
很少有認真做事的團隊只用一個模型。他們會為了成本、品質、速度和韌性而混用多家服務商。沒有閘道的話,每個應用程式都要自己處理金鑰、重試、日誌和各家服務商的怪癖,而且沒人能回答「上個月我們在哪個模型上花了多少錢?」或「哪些應用程式把客戶資料發給了哪家服務商?」這樣的簡單問題。
閘道把這些都集中起來。更換模型變成改設定而不是改程式碼,某家服務商出故障時會自動回退,財務和安全團隊也有了一個統一設定預算和策略的地方。
深度解析
AI 閘道是一個位於你的程式碼和你所用的 LLM 服務商之間的代理伺服器。你的應用程式把每一個模型請求都發給閘道,用同一種格式、同一套憑證。閘道把每個請求轉發給對應的服務商,不管是 OpenAI、Anthropic、Google、某個雲端平台還是你自己的伺服器,然後把回應回傳。
它扮演的角色就像 API 閘道之於微服務,只是針對 LLM 特有的問題做了調整:服務商眾多且 API 各不相同、按 token 計費、速率限制、服務中斷,以及每隔幾週就出現的新模型。
閘道做什麼
- 統一 API:一個介面串接所有服務商,通常是 OpenAI 相容的。
- 金鑰管理:服務商的金鑰留在閘道裡。團隊和應用程式拿到的是虛擬金鑰,可以限定範圍,也可以撤銷。
- 回退和重試:如果某家服務商出錯或逾時,就重試或切換到備用模型。
- 負載平衡:把流量分散到多個金鑰、區域或部署上,以免超出速率限制。
- 預算和速率限制:按團隊、使用者或專案給支出和用量設上限。
- 日誌和成本追蹤:記錄每個請求、token 數和成本,用於可觀測性和計費。
- 快取:對完全相同的請求回傳已儲存的回應,有時對語意相近的請求也是如此。
- 護欄:掃描請求和回應,檢查其中是否有個人資料、金鑰或違反策略的內容。
路由
最簡單的路由是固定規則:這個應用程式用這個模型,那個模型作為備用。更進階的閘道按成本和難度路由,把簡單的請求發給便宜的模型,把難的請求發給強的模型。研究專案 RouteLLM(2024)報告稱,透過學習哪些查詢需要更強的模型,它在一項基準上把成本降低了 85% 以上,同時保持了 GPT-4 品質的 95%。
不過,智慧路由確實有陷阱。僅憑提示來預測難度並不可靠。不同模型對同一個提示的反應不同,所以品質更難評估。而且在對話中途切換模型會丟掉提示快取,損失可能比路由省下的還多。
產品
- LiteLLM:開源的代理伺服器和 Python SDK,自託管的常見選擇。
- OpenRouter:一項託管服務,用一個帳戶和一張帳單串接數百個模型。
- Portkey、Helicone 和 Kong AI Gateway:側重可觀測性和治理的閘道。
- Cloudflare AI Gateway 和 Vercel AI Gateway:內建在開發者平台裡的閘道。
Amazon Bedrock、Microsoft Foundry 和 Google Vertex AI 等雲端平台在各自的模型目錄內扮演著類似的角色。
權衡
- 多一跳:增加一點延遲,也多了一個可能當機的環節。閘道一旦中斷,所有模型都跟著不可用。
- 功能滯後:服務商的新功能可能不會馬上得到支援,或者在轉換成通用格式時丟失。
- 資料暴露:託管的閘道能看到你所有的提示和回應。要查看它的資料保留和隱私條款,或者自行託管。
- 高價值目標:閘道掌握著每一家服務商的金鑰。要像對待其他關鍵基礎設施一樣保護和監控它。
你需要它嗎?
只呼叫一個模型的個人專案不需要。需求會隨著第二家服務商、第二個團隊或第一張意外的帳單而出現。比較穩妥的路徑是先在自己的程式碼裡寫一層薄薄的封裝,等到需要在多個應用程式之間共享金鑰、預算和回退時,再遷移到自託管或託管的閘道。