AI Gateway
यह क्यों मायने रखता है
बहुत कम गंभीर teams सिर्फ़ एक model इस्तेमाल करती हैं। वे लागत, quality, speed और resilience के लिए providers को मिलाकर चलती हैं। Gateway के बिना हर application अपनी keys, retries, logging और providers की अजीब आदतें खुद संभालता है, और कोई भी ऐसे सीधे सवालों का जवाब नहीं दे पाता जैसे "पिछले महीने हमने किस model पर कितना खर्च किया?" या "कौन-से apps customer data किस provider को भेजते हैं?"
Gateway यह सब एक जगह ले आता है। Model बदलना code change के बजाय configuration change बन जाता है, किसी एक provider का outage अपने-आप fallback चालू कर देता है, और finance व security को budgets और policies तय करने के लिए एक ही जगह मिल जाती है।
गहन अध्ययन
AI gateway एक proxy है जो आपके code और आपके इस्तेमाल किए जाने वाले LLM providers के बीच बैठता है। आपके applications हर model request gateway को भेजते हैं, एक ही format में और एक ही credentials के set के साथ। Gateway हर request को सही provider तक पहुँचाता है, चाहे वह OpenAI हो, Anthropic, Google, कोई cloud platform या आपके अपने servers, और response लौटा देता है।
यह वही भूमिका निभाता है जो microservices के लिए API gateway निभाता है, बस LLMs की खास समस्याओं के हिसाब से ढला हुआ: अलग-अलग APIs वाले कई providers, per-token billing, rate limits, outages और हर कुछ हफ़्तों में नए models।
Gateway क्या करता है
- Unified API: सभी providers के लिए एक interface, जो आम तौर पर OpenAI-compatible होता है।
- Key management: providers की keys gateway में ही रहती हैं। Teams और apps को virtual keys मिलती हैं जिनका दायरा सीमित किया जा सकता है और जिन्हें revoke किया जा सकता है।
- Fallbacks और retries: अगर कोई provider error देता है या time out हो जाता है, तो दोबारा कोशिश कीजिए या backup model पर चले जाइए।
- Load balancing: rate limits के अंदर रहने के लिए traffic को keys, regions या deployments में बाँटना।
- Budgets और rate limits: हर team, user या project के खर्च और usage पर सीमा लगाना।
- Logging और cost tracking: observability और billing के लिए हर request, token count और लागत record करना।
- Caching: एक जैसे requests के लिए stored response लौटाना, और कभी-कभी semantically मिलते-जुलते requests के लिए भी।
- Guardrails: requests और responses में personal data, secrets या policy violations की जाँच करना।
Routing
सबसे सरल routing एक तय नियम है: यह app यह model इस्तेमाल करता है, और वह दूसरा model backup है। ज़्यादा advanced gateways लागत और कठिनाई के हिसाब से route करते हैं, आसान requests को सस्ते model और कठिन requests को मज़बूत model के पास भेजते हैं। RouteLLM research project (2024) ने बताया कि यह सीखकर कि किन queries को मज़बूत model चाहिए, उसने एक benchmark पर लागत 85% से ज़्यादा घटाई और GPT-4 की 95% quality बनाए रखी।
फिर भी smart routing में असली खतरे हैं। सिर्फ़ prompt से कठिनाई का अनुमान लगाना भरोसेमंद नहीं है। अलग-अलग models एक ही prompt पर अलग तरह से जवाब देते हैं, इसलिए quality का मूल्यांकन मुश्किल हो जाता है। और बातचीत के बीच में model बदलने से prompt cache बेकार हो जाता है, जिसकी कीमत routing से हुई बचत से ज़्यादा हो सकती है।
Products
- LiteLLM: एक open-source proxy और Python SDK, self-hosting के लिए आम पसंद।
- OpenRouter: एक hosted service, जिसमें सैकड़ों models के लिए एक ही account और एक ही bill है।
- Portkey, Helicone और Kong AI Gateway: observability और governance पर ध्यान देने वाले gateways।
- Cloudflare AI Gateway और Vercel AI Gateway: developer platforms में बने हुए gateways।
Amazon Bedrock, Microsoft Foundry और Google Vertex AI जैसे cloud platforms अपने-अपने catalogs के अंदर ऐसी ही भूमिका निभाते हैं।
Trade-offs
- एक और hop: थोड़ी अतिरिक्त latency, और एक और चीज़ जो बंद पड़ सकती है। Gateway का outage हर model को अपने साथ ले जाता है।
- Features में देरी: provider के नए features तुरंत supported न हों, या common format में बदलते समय खो जाएँ, ऐसा हो सकता है।
- Data exposure: hosted gateway आपके सारे prompts और responses देखता है। उसकी retention और privacy की शर्तें जाँचिए, या self-host कीजिए।
- एक कीमती निशाना: gateway के पास हर provider की key होती है। इसे किसी भी दूसरे critical infrastructure की तरह सुरक्षित रखिए और monitor कीजिए।
क्या आपको इसकी ज़रूरत है?
एक model call करने वाले अकेले project को नहीं है। ज़रूरत दूसरे provider, दूसरी team या पहले चौंकाने वाले bill के साथ सामने आती है। समझदारी भरा रास्ता यह है कि अपने code में एक पतले wrapper से शुरू कीजिए, और जब आपको कई applications में साझा keys, budgets और fallbacks चाहिए तब self-hosted या managed gateway पर जाइए।