跳到主要內容
Zubnet AI › 學習 › Wiki › 批次處理 API
使用AI

批次處理 API

別名:Batch API、批次 API、批次推論、批次處理
一種把大量 LLM 請求提交給服務商非同步處理的方式,放棄即時回應,換來大約一半的價格。

為什麼重要

很多 LLM 工作並不需要在幾秒內得到答案:跑一套評估、給一百萬張客服工單分類、為文件庫生成嵌入、生成合成訓練資料、總結昨天的轉錄文字。為這些工作付即時價格純屬浪費。

批次處理任務還有單獨的、高得多的速率限制,所以不會佔用線上產品所依賴的配額。對資料管線來說,改用批次處理往往是最容易實現的一項節省成本的措施。

深度解析

批次處理 API 讓你一次提交大量請求,幾千條甚至更多,稍後再取回結果,而不是即時等待每一條回應。你上傳請求,服務商在有空閒算力時處理它們,任務完成後你再下載輸出,通常在 24 小時之內,往往還要快得多。

放棄即時性換來的是大幅折扣。截至 2026 年,OpenAI、Anthropic 和 Google 對批次處理請求的定價都比標準價格便宜約 50%。

工作流程

各家服務商的流程大同小異:

  1. 準備請求。每條請求都是一個普通的 API 請求,再加上一個由你指定的 custom_id。
  2. 提交批次。OpenAI 接收上傳的 JSONL 檔案,每行一條請求,而 Anthropic 的 Message Batches API 直接接收一個請求列表。
  3. 輪詢狀態,或者乾脆等著。
  4. 下載結果,並透過 custom_id 與你的輸入對應起來。結果不保證按原來的順序回傳。

OpenAI 風格的批次處理檔案裡,一行是這樣的:

{"custom_id": "ticket-001", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "MODEL_NAME", "messages": [{"role": "user", "content": "Classify this ticket: ..."}]}}

各家細節

  • OpenAI Batch API(2024 年 4 月):使用 JSONL 檔案,完成期限為 24 小時,支援 chat、embeddings 等端點。
  • Anthropic Message Batches(2024 年 10 月):每個批次最多 100,000 條請求,大多數批次在一小時內完成。
  • Google Gemini 透過 Gemini API 和 Vertex AI 提供批次處理模式,Amazon Bedrock 也為它託管的模型提供批次推論。

如果你用自己的 GPU,通常不需要專門的批次處理 API:只要以伺服器的連續批次處理能承受的速度傳送請求就行。

疊加折扣

批次處理價格可以和提示快取疊加。如果每條請求都共享一段很長的前綴,比如相同的指令或同一份文件,快取的 token 會在批次處理折扣之上再按更低的費率計費。由於請求是平行處理的,批次中的快取命中只能盡力而為,但把共享內容放在最前面仍然划算。

什麼時候不該用

只要有人或者有程式在等結果,批次處理就不是合適的工具。這就排除了聊天、大多數代理迴圈(每一步都依賴上一步)以及任何期限很緊的任務。24 小時期限是上限,雖然結果通常會更早到,但你不能指望它。

實用建議

  • 先小規模試跑。 即時跑 50 條請求,檢查輸出,然後再提交完整批次。一個提示裡的 bug 乘以一百萬,代價很高。
  • 處理部分失敗。 個別請求可能失敗或過期,而其餘的成功。把失敗的收集起來重新提交。
  • 使用結構化輸出。 沒有機會再互動式地追問,所以你需要能自動解析的結果。
  • 拆分超大任務。 幾個中等大小的批次比一個巨大的批次更容易監控和重試。
  • 合理設定 max_tokens。 沒人盯著的時候,失控的超長輸出更難被發現。
← 所有術語
ESC