跳到主要内容
Zubnet AI › 学习 › Wiki › 批处理 API
使用AI

批处理 API

别名:Batch API、批量 API、批量推理、批处理
一种把大量 LLM 请求提交给服务商异步处理的方式,放弃即时响应,换来大约一半的价格。

为什么重要

很多 LLM 工作并不需要在几秒内得到答案:跑一套评估、给一百万张客服工单分类、为文档库生成嵌入、生成合成训练数据、总结昨天的转录文本。为这些工作付实时价格纯属浪费。

批处理任务还有单独的、高得多的速率限制,所以不会占用线上产品所依赖的配额。对数据管道来说,改用批处理往往是最容易实现的一项降本措施。

深度解析

批处理 API 让你一次提交大量请求,几千条甚至更多,稍后再取回结果,而不是实时等待每一条响应。你上传请求,服务商在有空闲算力时处理它们,任务完成后你再下载输出,通常在 24 小时之内,往往还要快得多。

放弃即时性换来的是大幅折扣。截至 2026 年,OpenAI、Anthropic 和 Google 对批处理请求的定价都比标准价格便宜约 50%。

工作流程

各家服务商的流程大同小异:

  1. 准备请求。每条请求都是一个普通的 API 请求,再加上一个由你指定的 custom_id。
  2. 提交批次。OpenAI 接收上传的 JSONL 文件,每行一条请求,而 Anthropic 的 Message Batches API 直接接收一个请求列表。
  3. 轮询状态,或者干脆等着。
  4. 下载结果,并通过 custom_id 与你的输入对应起来。结果不保证按原来的顺序返回。

OpenAI 风格的批处理文件里,一行是这样的:

{"custom_id": "ticket-001", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "MODEL_NAME", "messages": [{"role": "user", "content": "Classify this ticket: ..."}]}}

各家细节

  • OpenAI Batch API(2024 年 4 月):使用 JSONL 文件,完成窗口为 24 小时,支持 chat、embeddings 等端点。
  • Anthropic Message Batches(2024 年 10 月):每个批次最多 100,000 条请求,大多数批次在一小时内完成。
  • Google Gemini 通过 Gemini API 和 Vertex AI 提供批处理模式,Amazon Bedrock 也为它托管的模型提供批量推理。

如果你用自己的 GPU,通常不需要专门的批处理 API:只要以服务器的连续批处理能承受的速度发送请求就行。

叠加折扣

批处理价格可以和提示缓存叠加。如果每条请求都共享一段很长的前缀,比如相同的指令或同一份文档,缓存的 token 会在批处理折扣之上再按更低的费率计费。由于请求是并行处理的,批次中的缓存命中只能尽力而为,但把共享内容放在最前面仍然划算。

什么时候不该用

只要有人或者有程序在等结果,批处理就不是合适的工具。这就排除了聊天、大多数智能体循环(每一步都依赖上一步)以及任何期限很紧的任务。24 小时窗口是上限,虽然结果通常会更早到,但你不能指望它。

实用建议

  • 先小规模试跑。 实时跑 50 条请求,检查输出,然后再提交完整批次。一个提示里的 bug 乘以一百万,代价很高。
  • 处理部分失败。 个别请求可能失败或过期,而其余的成功。把失败的收集起来重新提交。
  • 使用结构化输出。 没有机会再交互式地追问,所以你需要能自动解析的结果。
  • 拆分超大任务。 几个中等大小的批次比一个巨大的批次更容易监控和重试。
  • 合理设置 max_tokens。 没人盯着的时候,失控的超长输出更难被发现。
← 所有术语
ESC