एंडपॉइंट सर्वर पर एक URL पथ होता है जो एक विशिष्ट प्रकार की अनुरोध को स्वीकृत करता है और एक विशिष्ट प्रकार के प्रतिक्रिया को लौटाता है। AI APIs में, सबसे आम एंडपॉइंट चैट पूर्णता एंडपॉइंट है — POST /v1/chat/completions OpenAI के स्कीमा में, POST /v1/messages Anthropic में। लेकिन आधुनिक AI प्रदाता चैट के बाहर एक बहुतायत के एंडपॉइंट प्रदान करते हैं: /v1/embeddings पाठ को वेक्टर में बदलने के लिए, /v1/images/generations छवि निर्माण के लिए, /v1/audio/transcriptions ध्वनि-से-पाठ के लिए, और /v1/models उपलब्ध मॉडलों की सूची के लिए। प्रत्येक एंडपॉइंट अलग अनुरोध पैरामीटर की उम्मीद करता है और अलग प्रतिक्रिया आकृति लौटाता है।
व्यावहारिक चुनौति यह है कि "OpenAI-संगत" एंडपॉइंट केवल अनुमानित रूप से संगत होते हैं। Groq, Together AI और Fireworks सभी OpenAI संगतता का विज्ञापन करते हैं, और वे आधारभूत चैट पूर्णता अनुरोधों के लिए अच्छा काम करते हैं। लेकिन विवरण में गहराई से देखें और आप अंतर पाएंगे: कुछ response_format पैरामीटर के संरचित आउटपुट के समर्थन के बिना, अन्य उपकरण/फंक्शन कॉलिंग को अलग तरीके से संभालते हैं, और त्रुटि प्रतिक्रिया फॉर्मेट बहुत अलग होते हैं। Anthropic यहां तक कि OpenAI-संगत होने की कोशिश तक नहीं करता है — उनका Messages API पूरी तरह से अलग संरचना का उपयोग करता है, जहां content एक स्ट्रिंग के बजाय ब्लॉक के एक सरणी होता है। जब आप एक प्रणाली बना रहे होते हैं जो कई प्रदाताओं के बीच रूटिंग करता है, तो ये अंतर अधिकांश इंजीनियरिंग समय के बराबर होते हैं।
संस्करण एक अन्य महत्वपूर्ण आयाम है। प्रदाता अपने एंडपॉइंट के समय के साथ विकसित होते हैं, और टूटे हुए परिवर्तन हो सकते हैं। OpenAI तिथि-आधारित मॉडल संस्करण विकास का उपयोग करता है (जैसे gpt-4-0125-preview), जबकि एंडपॉइंट पथ स्थिर रहते हैं। Anthropic एक संस्करण हेडर (anthropic-version: 2023-06-01) का उपयोग करता है जो अनुरोध/प्रतिक्रिया योजना का निर्धारण करता है। Google के Vertex AI संस्करण पूर्वनिर्धारित यूआरएल पथ में उपयोग करता है। जब एक प्रदाता एक एंडपॉइंट संस्करण को अवमूल्यन करता है, तो आपको आमतौर पर कुछ महीनों की चेतावनी मिलती है, लेकिन यदि आप उनके बदलाव लॉग नहीं देख रहे हैं, तो आप एक दिन एक टूटे हुए समाकलन के साथ जाग सकते हैं।
बेस URL का उल्लेख भी किया जाना चाहिए क्योंकि वे आपके उम्मीद के बराबर सीधे नहीं होते हैं। Anthropic के API api.anthropic.com पर होता है, लेकिन OpenAI api.openai.com के लिए सीधा पहुंच और अलग बेस URL Azure OpenAI सेवा तैनातियों के लिए प्रदान करता है। कुछ प्रदाताओं के पास डेटा निवास अनुपालन के लिए क्षेत्रीय एंडपॉइंट होते हैं — आपके europe-west1-aiplatform.googleapis.com के अनुरोध यूई में रहते हैं। प्रदाताओं जो HuggingFace के अनुमान एपीआई जैसे अनुमान प्लेटफॉर्म के माध्यम से रूटिंग करते हैं, बेस URL प्लेटफॉर्म (router.huggingface.co) होता है और मॉडल पहचानकर्ता पथ या हेडर में जाता है। इस टोपोलॉजी को समझना महत्वपूर्ण है क्योंकि लैटेंसी, डेटा स्वामित्व और बिलिंग सभी उस एंडपॉइंट पर निर्भर कर सकते हैं जिसे आप वास्तव में हिट कर रहे हैं।