मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Continuous Batching
बुनियादी ढांचा

Continuous Batching

इसे भी कहा जाता है: Dynamic Batching, In-flight Batching, Iteration-level Scheduling
LLM serving की एक technique जो generation के हर step पर चल रहे batch में नए requests जोड़ती है और पूरे हो चुके requests हटाती है, ताकि GPU भरा रहे।

यह क्यों मायने रखता है

Continuous batching ही वह मुख्य वजह है कि आधुनिक inference servers एक GPU से कई users को उचित लागत पर serve कर पाते हैं। Anyscale के 2023 में प्रकाशित benchmarks ने static batching के मुकाबले 23 गुना तक throughput दिखाया, और साथ में कम latency भी। आज हर गंभीर LLM server इसे इस्तेमाल करता है: vLLM, Hugging Face TGI, SGLang, NVIDIA का TensorRT-LLM (जो इसे in-flight batching कहता है) और llama.cpp server।

अगर आप कोई hosted LLM API call करते हैं, तो लगभग तय है कि आपका request दूसरे लोगों के requests के साथ एक ही GPU batch साझा कर रहा है, token दर token।

गहन अध्ययन

GPUs सबसे ज़्यादा efficient तब होते हैं जब वे एक साथ कई sequences process करते हैं। Image classifier के लिए batching आसान है: requests को इकट्ठा कीजिए, साथ चलाइए और सारे नतीजे लौटा दीजिए। Text generation ज़्यादा मुश्किल है, क्योंकि हर request कई steps में अलग-अलग संख्या में tokens बनाता है। एक user को दस tokens चाहिए, दूसरे को दो हज़ार।

Naive (static) batching में server पहले एक batch इकट्ठा होने का इंतज़ार करता है, फिर उसे तब तक चलाता है जब तक सबसे लंबा request पूरा न हो जाए। छोटे requests पूरे हो चुके slots में खाली बैठे रहते हैं, और नए आने वाले requests पूरा batch खत्म होने तक बाहर इंतज़ार करते हैं। Continuous batching इसे ठीक करता है: scheduling का फ़ैसला हर एक token step पर लिया जाता है, पूरे हो चुके sequences तुरंत निकल जाते हैं और इंतज़ार कर रहे requests उनकी जगह ले लेते हैं।

यह कैसे काम करता है

यह विचार Orca paper (OSDI 2022) में iteration-level scheduling के नाम से पेश किया गया था। Server active sequences का एक pool रखता है। हर step पर वह:

  1. एक forward pass चलाता है जो हर active sequence के लिए अगला token बनाता है।
  2. उन sequences को हटाता है जो end token या अपनी length limit तक पहुँच गए।
  3. खाली हुई capacity में इंतज़ार कर रहे requests को शामिल करता है।

चूँकि हर sequence का अपना KV cache होता है, इसलिए बिल्कुल अलग stages पर मौजूद sequences (एक अपने 5वें token पर, दूसरा 900वें पर) एक ही forward pass साझा कर सकते हैं।

Prefill और Decode

नए request को generate (decode) करने से पहले अपना पूरा prompt process (prefill) करना पड़ता है। Prefill भारी होता है: batch में जुड़ने वाला 20,000 tokens का prompt बाकी सबके अगले token को रोक सकता है। Servers इसे chunked prefill से संभालते हैं, जो लंबे prompts को टुकड़ों में बाँटता है, जिन्हें कई steps में process किया जाता है और चल रहे decodes के साथ मिलाया जाता है। बड़े deployments कभी-कभी prefill और decode को अलग workers पर रखते हैं।

Memory की सीमा

एक batch में कितने sequences आ सकते हैं, यह compute से कम और KV cache memory से ज़्यादा तय होता है, जो हर active sequence के हर token के साथ बढ़ती है। इसीलिए continuous batching और PagedAttention vLLM में साथ-साथ आए। हर request के लिए maximum length reserve करने के बजाय cache को ज़रूरत के हिसाब से छोटे blocks में allocate करने से कहीं ज़्यादा sequences समा जाते हैं। Memory खत्म होने पर server कुछ sequences को रोक सकता है और बाद में फिर शुरू कर सकता है।

Throughput बनाम Latency

बड़े batches प्रति second कुल tokens बढ़ाते हैं लेकिन हर अलग stream को थोड़ा धीमा कर देते हैं, क्योंकि हर step ज़्यादा काम करता है। हल्के load में हर user को तेज़ output मिलता है। भारी load में प्रति user speed घटती है और एक सीमा के बाद requests queue में लगने लगते हैं और time to first token बढ़ जाता है। Operators अपने latency targets के अंदर रहने के लिए concurrent sequences की अधिकतम संख्या जैसी limits को tune करते हैं।

व्यवहार में इसका मतलब

  • अगर आप vLLM या ऐसे ही किसी server के साथ self-host करते हैं, तो requests एक-एक करके भेजने के बजाय एक साथ (concurrently) भेजिए। Server उन्हें आपके लिए batch कर देता है, और कुल throughput sequential loop के मुकाबले कई गुना ज़्यादा हो सकता है।
  • असली जैसी concurrency पर benchmark कीजिए। अकेले request की speed capacity के बारे में बहुत कम बताती है।
  • Requests पर max_tokens set कीजिए। लंबे generations batch में memory घेरे रहते हैं।
  • इसे किसी provider के Batch API से मत मिलाइए, जो छूट पर asynchronous jobs के बारे में है, GPU scheduling के बारे में नहीं।
← सभी शब्द
ESC