मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Batch API
AI उपयोग

Batch API

इसे भी कहा जाता है: Batch Processing, Batch Inference
बड़ी संख्या में LLM requests को asynchronous processing के लिए भेजने का तरीका, जिसमें तुरंत जवाब छोड़ने के बदले लगभग आधी कीमत मिलती है।

यह क्यों मायने रखता है

LLM का बहुत सारा काम ऐसा है जिसे seconds में जवाब नहीं चाहिए: evaluation suite चलाना, 10 लाख support tickets को classify करना, किसी document archive के लिए embeddings बनाना, synthetic training data तैयार करना, कल के transcripts का सार बनाना। ऐसे काम के लिए real-time कीमत देना सीधी-सीधी बर्बादी है।

Batch jobs की rate limits भी अलग और कहीं ज़्यादा ऊँची होती हैं, इसलिए वे उस quota को खर्च नहीं करते जिस पर आपका live product निर्भर है। Data pipelines के लिए batch पर जाना अक्सर लागत घटाने का सबसे आसान उपलब्ध तरीका होता है।

गहन अध्ययन

Batch API आपको एक साथ बहुत सारे requests, हज़ारों या उससे भी ज़्यादा, submit करने देता है और नतीजे बाद में लेने देता है, बजाय इसके कि आप हर response का real time में इंतज़ार करें। आप requests upload करते हैं, provider उन्हें तब process करता है जब उसके पास खाली capacity होती है, और job पूरा होने पर आप outputs download कर लेते हैं, आम तौर पर 24 घंटे के अंदर और अक्सर उससे काफ़ी पहले।

तुरंत जवाब छोड़ने के बदले आपको बड़ी छूट मिलती है। 2026 की स्थिति में OpenAI, Anthropic और Google, तीनों batch requests की कीमत अपनी standard rates से लगभग 50% कम रखते हैं।

यह कैसे काम करता है

Flow सभी providers में मिलता-जुलता है:

  1. Requests तैयार कीजिए। हर request एक सामान्य API request है, साथ में एक custom_id जो आप चुनते हैं।
  2. Batch submit कीजिए। OpenAI एक upload की हुई JSONL file लेता है जिसमें हर line पर एक request होता है, जबकि Anthropic का Message Batches API सीधे requests की list लेता है।
  3. Status के लिए poll कीजिए, या बस इंतज़ार कीजिए।
  4. नतीजे download कीजिए और custom_id से उन्हें अपने inputs से मिलाइए। इस बात की guarantee नहीं है कि नतीजे मूल क्रम में लौटेंगे।

OpenAI-style batch file की एक line ऐसी दिखती है:

{"custom_id": "ticket-001", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "MODEL_NAME", "messages": [{"role": "user", "content": "Classify this ticket: ..."}]}}

Providers का ब्योरा

  • OpenAI Batch API (अप्रैल 2024): JSONL files, 24 घंटे की completion window, और chat, embeddings व दूसरे endpoints का support।
  • Anthropic Message Batches (अक्टूबर 2024): हर batch में 1 लाख तक requests, और ज़्यादातर batches एक घंटे से कम में पूरे हो जाते हैं।
  • Google Gemini Gemini API और Vertex AI के ज़रिए batch mode देता है, और Amazon Bedrock में उन models के लिए batch inference है जिन्हें वह host करता है।

अगर आप अपने GPUs चलाते हैं, तो आम तौर पर आपको किसी खास batch API की ज़रूरत नहीं होती: आप requests उतनी तेज़ी से भेजते हैं जितनी server की continuous batching संभाल सके।

Discounts को जोड़ना

Batch pricing को prompt caching के साथ मिलाया जा सकता है। अगर हर request एक लंबा prefix साझा करता है, जैसे वही instructions या वही document, तो cached tokens पर batch discount के ऊपर घटी हुई rate लगती है। Batches में cache hits best-effort होते हैं, क्योंकि requests parallel में process होते हैं, लेकिन साझा content को सबसे पहले रखना फिर भी फ़ायदेमंद है।

कब इस्तेमाल न करें

जब भी कोई व्यक्ति या कोई चीज़ इंतज़ार कर रही हो, batch गलत tool है। इससे chat, ज़्यादातर agent loops (हर step पिछले पर निर्भर होता है) और कड़ी deadline वाली कोई भी चीज़ बाहर हो जाती है। 24 घंटे की window अधिकतम सीमा है, और हालाँकि नतीजे आम तौर पर पहले आ जाते हैं, आप इस पर भरोसा नहीं कर सकते।

व्यावहारिक सुझाव

  • पहले pilot कीजिए। 50 requests real time में चलाइए, outputs जाँचिए, फिर पूरा batch submit कीजिए। 10 लाख से गुणा हुआ prompt bug महँगा पड़ता है।
  • आंशिक failure संभालिए। कुछ requests fail या expire हो सकते हैं जबकि बाकी सफल रहते हैं। Failures इकट्ठा कीजिए और उन्हें दोबारा submit कीजिए।
  • Structured output इस्तेमाल कीजिए। जब interactively दोबारा पूछने का मौका नहीं है, तो आपको ऐसे नतीजे चाहिए जिन्हें अपने-आप parse किया जा सके।
  • बहुत बड़े jobs को बाँटिए। कई मध्यम आकार के batches को monitor और retry करना एक विशाल batch से आसान है।
  • max_tokens समझदारी से set कीजिए। जब कोई देख नहीं रहा होता, तब बेकाबू outputs पर नज़र पड़ना मुश्किल होता है।
← सभी शब्द
ESC