连续批处理
为什么重要
连续批处理是现代推理服务器能以合理成本用一块 GPU 服务很多用户的主要原因。Anyscale 在 2023 年发布的基准测试显示,它的吞吐量最高可达静态批处理的 23 倍,同时延迟更低。如今所有正经的 LLM 服务器都在用它:vLLM、Hugging Face TGI、SGLang、NVIDIA 的 TensorRT-LLM(称之为 in-flight batching)以及 llama.cpp 的服务器。
如果你调用的是托管的 LLM API,你的请求几乎肯定正和别人的请求共用同一个 GPU 批次,一个 token 一个 token 地往前走。
深度解析
GPU 在同时处理很多序列时效率最高。对图像分类器来说,批处理很简单:把请求攒在一起,一起运行,再返回所有结果。文本生成更难,因为每个请求要经过很多步,生成的 token 数量各不相同。一个用户只要十个 token,另一个要两千个。
在朴素的(静态)批处理下,服务器先等着凑齐一个批次,然后一直运行到最长的那个请求结束。短请求在已经完成的位置上空转,新到的请求只能在外面等,直到整个批次跑完。连续批处理的解决办法是在每一个 token 步都做一次调度决策:完成的序列立刻离开,等待中的请求随即补上。
工作原理
这个想法最早以 iteration-level scheduling(迭代级调度)的名字出现在 Orca 论文(OSDI 2022)中。服务器维护一个活跃序列池。每一步它会:
- 运行一次前向传播,为每个活跃序列生成下一个 token。
- 移除遇到结束 token 或达到长度上限的序列。
- 把等待中的请求放进腾出来的容量里。
因为每个序列都有自己的 KV 缓存,处在完全不同阶段的序列(一个在第 5 个 token,另一个在第 900 个)可以共用同一次前向传播。
Prefill 与 Decode
新请求必须先处理完整个提示(prefill,预填充),然后才能开始生成(decode,解码)。Prefill 很重:一个 20,000 token 的提示加入批次,可能会卡住其他所有人的下一个 token。服务器用 chunked prefill(分块预填充)来应对,把长提示切成几段,分散在多个步里处理,并与正在进行的解码混在一起。大型部署有时会把 prefill 和 decode 放到不同的 worker 上。
内存上限
一个批次能放多少序列,受限的主要不是算力,而是 KV 缓存内存,它随着每个活跃序列的每个 token 而增长。这就是连续批处理和 PagedAttention 在 vLLM 里一起出现的原因。按需以小块分配缓存,而不是为每个请求预留最大长度,能让多得多的序列装进来。内存用完时,服务器可能会暂停部分序列,稍后再恢复。
吞吐量与延迟
批次越大,每秒的 token 总数越高,但每条单独的流会慢一点,因为每一步要做的工作更多。负载轻时,每个用户都能得到很快的输出。负载重时,每个用户的速度下降,过了某个点,请求开始排队,首 token 时间随之攀升。运维人员会调整最大并发序列数之类的上限,把延迟控制在目标之内。
实践中意味着什么
- 如果你用 vLLM 或类似的服务器自行部署,请并发发送请求,而不是一次一个。服务器会替你把它们组成批次,总吞吐量可以比顺序循环高出很多倍。
- 在贴近实际的并发量下做基准测试。单请求速度说明不了多少容量问题。
- 给请求设置
max_tokens。长时间的生成会占住批次里的内存。 - 不要把它和服务商的批处理 API(Batch API)混为一谈,后者说的是打折的异步任务,而不是 GPU 调度。