一种把大量 LLM 请求提交给服务商异步处理的方式,放弃即时响应,换来大约一半的价格。
为什么重要
很多 LLM 工作并不需要在几秒内得到答案:跑一套评估、给一百万张客服工单分类、为文档库生成嵌入、生成合成训练数据、总结昨天的转录文本。为这些工作付实时价格纯属浪费。
批处理任务还有单独的、高得多的速率限制,所以不会占用线上产品所依赖的配额。对数据管道来说,改用批处理往往是最容易实现的一项降本措施。
深度解析
批处理 API 让你一次提交大量请求,几千条甚至更多,稍后再取回结果,而不是实时等待每一条响应。你上传请求,服务商在有空闲算力时处理它们,任务完成后你再下载输出,通常在 24 小时之内,往往还要快得多。
放弃即时性换来的是大幅折扣。截至 2026 年,OpenAI、Anthropic 和 Google 对批处理请求的定价都比标准价格便宜约 50%。
工作流程
各家服务商的流程大同小异:
- 准备请求。每条请求都是一个普通的 API 请求,再加上一个由你指定的
custom_id。 - 提交批次。OpenAI 接收上传的 JSONL 文件,每行一条请求,而 Anthropic 的 Message Batches API 直接接收一个请求列表。
- 轮询状态,或者干脆等着。
- 下载结果,并通过
custom_id与你的输入对应起来。结果不保证按原来的顺序返回。
OpenAI 风格的批处理文件里,一行是这样的:
{"custom_id": "ticket-001", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "MODEL_NAME", "messages": [{"role": "user", "content": "Classify this ticket: ..."}]}}
各家细节
- OpenAI Batch API(2024 年 4 月):使用 JSONL 文件,完成窗口为 24 小时,支持 chat、embeddings 等端点。
- Anthropic Message Batches(2024 年 10 月):每个批次最多 100,000 条请求,大多数批次在一小时内完成。
- Google Gemini 通过 Gemini API 和 Vertex AI 提供批处理模式,Amazon Bedrock 也为它托管的模型提供批量推理。
如果你用自己的 GPU,通常不需要专门的批处理 API:只要以服务器的连续批处理能承受的速度发送请求就行。
叠加折扣
批处理价格可以和提示缓存叠加。如果每条请求都共享一段很长的前缀,比如相同的指令或同一份文档,缓存的 token 会在批处理折扣之上再按更低的费率计费。由于请求是并行处理的,批次中的缓存命中只能尽力而为,但把共享内容放在最前面仍然划算。
什么时候不该用
只要有人或者有程序在等结果,批处理就不是合适的工具。这就排除了聊天、大多数智能体循环(每一步都依赖上一步)以及任何期限很紧的任务。24 小时窗口是上限,虽然结果通常会更早到,但你不能指望它。
实用建议
- 先小规模试跑。 实时跑 50 条请求,检查输出,然后再提交完整批次。一个提示里的 bug 乘以一百万,代价很高。
- 处理部分失败。 个别请求可能失败或过期,而其余的成功。把失败的收集起来重新提交。
- 使用结构化输出。 没有机会再交互式地追问,所以你需要能自动解析的结果。
- 拆分超大任务。 几个中等大小的批次比一个巨大的批次更容易监控和重试。
- 合理设置
max_tokens。 没人盯着的时候,失控的超长输出更难被发现。