連續批次處理
為什麼重要
連續批次處理是現代推論伺服器能以合理成本用一塊 GPU 服務很多使用者的主要原因。Anyscale 在 2023 年發布的基準測試顯示,它的吞吐量最高可達靜態批次處理的 23 倍,同時延遲更低。如今所有正經的 LLM 伺服器都在用它:vLLM、Hugging Face TGI、SGLang、NVIDIA 的 TensorRT-LLM(稱之為 in-flight batching)以及 llama.cpp 的伺服器。
如果你呼叫的是託管的 LLM API,你的請求幾乎肯定正和別人的請求共用同一個 GPU 批次,一個 token 一個 token 地往前走。
深度解析
GPU 在同時處理很多序列時效率最高。對影像分類器來說,批次處理很簡單:把請求攢在一起,一起執行,再回傳所有結果。文字生成更難,因為每個請求要經過很多步,生成的 token 數量各不相同。一個使用者只要十個 token,另一個要兩千個。
在樸素的(靜態)批次處理下,伺服器先等著湊齊一個批次,然後一直執行到最長的那個請求結束。短請求在已經完成的位置上空轉,新到的請求只能在外面等,直到整個批次跑完。連續批次處理的解決辦法是在每一個 token 步都做一次排程決策:完成的序列立刻離開,等待中的請求隨即補上。
工作原理
這個想法最早以 iteration-level scheduling(迭代級排程)的名字出現在 Orca 論文(OSDI 2022)中。伺服器維護一個活躍序列池。每一步它會:
- 執行一次前向傳播,為每個活躍序列生成下一個 token。
- 移除遇到結束 token 或達到長度上限的序列。
- 把等待中的請求放進騰出來的容量裡。
因為每個序列都有自己的 KV 快取,處在完全不同階段的序列(一個在第 5 個 token,另一個在第 900 個)可以共用同一次前向傳播。
Prefill 與 Decode
新請求必須先處理完整個提示(prefill,預填充),然後才能開始生成(decode,解碼)。Prefill 很重:一個 20,000 token 的提示加入批次,可能會卡住其他所有人的下一個 token。伺服器用 chunked prefill(分塊預填充)來應對,把長提示切成幾段,分散在多個步裡處理,並與正在進行的解碼混在一起。大型部署有時會把 prefill 和 decode 放到不同的 worker 上。
記憶體上限
一個批次能放多少序列,受限的主要不是算力,而是 KV 快取記憶體,它隨著每個活躍序列的每個 token 而增長。這就是連續批次處理和 PagedAttention 在 vLLM 裡一起出現的原因。按需以小塊分配快取,而不是為每個請求預留最大長度,能讓多得多的序列裝進來。記憶體用完時,伺服器可能會暫停部分序列,稍後再恢復。
吞吐量與延遲
批次越大,每秒的 token 總數越高,但每條單獨的流會慢一點,因為每一步要做的工作更多。負載輕時,每個使用者都能得到很快的輸出。負載重時,每個使用者的速度下降,過了某個點,請求開始排隊,首 token 時間隨之攀升。維運人員會調整最大並行序列數之類的上限,把延遲控制在目標之內。
實踐中意味著什麼
- 如果你用 vLLM 或類似的伺服器自行部署,請並行傳送請求,而不是一次一個。伺服器會替你把它們組成批次,總吞吐量可以比順序迴圈高出很多倍。
- 在貼近實際的並行量下做基準測試。單請求速度說明不了多少容量問題。
- 給請求設定
max_tokens。長時間的生成會佔住批次裡的記憶體。 - 不要把它和服務商的批次處理 API(Batch API)混為一談,後者說的是打折的非同步任務,而不是 GPU 排程。