OpenAI 相容 API
為什麼重要
相容性消除了切換的大部分成本。為 OpenAI 寫的應用程式、代理框架或編輯器外掛程式,不用重寫程式碼就能指向本地模型、更便宜的服務商或自託管的伺服器。這讓比較模型、避免廠商鎖定、把工作負載搬到性價比最好的地方都變得容易。
這也是本地工具能與那麼多軟體開箱即用的原因。任何帶有「自訂 OpenAI 端點」設定的應用程式,都能和 Ollama、LM Studio 或 vLLM 對話。
深度解析
OpenAI 在 2023 年發布 Chat Completions API 之後,它的格式很快成了大多數開發者和工具所面向的格式:向 /v1/chat/completions 發一個 POST 請求,帶上模型名稱和一個 messages 列表,其中每條訊息都有 role(system、user 或 assistant)和 content。其他服務商和開源伺服器發現,贏得採用的最簡單辦法就是接受同樣的格式。
結果就形成了一個事實標準。一個「OpenAI 相容」的伺服器說的是這套協定,哪怕背後的模型和 OpenAI 毫無關係。要切換,你只需改用戶端裡的兩項設定:base URL 和 API key。
長什麼樣
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:11434/v1", # Ollama, or any compatible server
api_key="not-needed-locally",
)
response = client.chat.completions.create(
model="llama3.2",
messages=[{"role": "user", "content": "Explain KV caching in one sentence."}],
)
print(response.choices[0].message.content)
只要改 base_url 和 model,同樣的程式碼就能用在另一台伺服器上。
誰支援它
- 本地和自託管伺服器:vLLM、Ollama(
localhost:11434/v1)、LM Studio(localhost:1234/v1)、llama.cpp 的伺服器和 SGLang。 - 推論服務商:Together AI、Fireworks AI、Groq、Cerebras、DeepSeek、Mistral、xAI 等很多家。
- 聚合平台和閘道:OpenRouter 和 LiteLLM 透過一個相容端點提供數百個模型。
- 其他大型實驗室:Google 為 Gemini 提供了 OpenAI 相容端點,Anthropic 也提供了一個主要用於測試的相容層。
相容性在哪裡失效
「相容」通常意味著基礎功能可用:訊息進、文字出、串流。除此之外,要做好有差異的準備。
- 工具呼叫:格式大體相同,但可靠性、平行呼叫以及工具參數的串流因伺服器和模型而異。
- 結構化輸出:帶 JSON schema 的
response_format,有些伺服器支援,有些部分支援,少數直接忽略。 - 推理:思考 token 沒有約定的欄位。各家服務商把它們放在不同的位置回傳,或者乾脆不回傳。
- 服務商特有功能:提示快取控制、引用和內建網頁搜尋往往無法對應到 OpenAI 格式,所以相容端點暴露的功能比服務商的原生 API 少。
- 參數和錯誤:不支援的參數可能被悄悄丟棄,token 用量的報告方式可能不同,錯誤碼也不統一。
經驗法則:普通聊天可以信任相容性。任何進階功能,都要針對具體的伺服器測試具體的功能;需要某家服務商的全部能力時,就用原生 API。
一個變動中的標準
OpenAI 自己已經往前走了。2025 年,它推出 Responses API 作為推薦介面,帶有內建工具和伺服器端的工作階段狀態,同時繼續支援 Chat Completions。生態裡的大部分仍然面向 Chat Completions,不過一些伺服器已經開始加入對 Responses 的支援。與此同時,Anthropic 的 Messages API 成了第二種常見格式,一些服務商現在也提供 Anthropic 相容端點,主要是為了讓程式編寫代理能跑在它們的模型上。
所以,「OpenAI 相容」最好理解為「會說 Chat Completions」,這是一個短期內不會消失的最大公約數。