मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › OpenAI-Compatible API
बुनियादी ढांचा

OpenAI-Compatible API

इसे भी कहा जाता है: OpenAI-Compatible Endpoint, Chat Completions API
ऐसी API जो OpenAI के Chat Completions endpoint के request और response format की नकल करती है, ताकि मौजूदा OpenAI client code सिर्फ़ base URL बदलकर दूसरे models के साथ काम करे।

यह क्यों मायने रखता है

Compatibility बदलने की ज़्यादातर लागत खत्म कर देती है। OpenAI के लिए लिखा गया app, agent framework या editor plugin बिना code दोबारा लिखे किसी local model, सस्ते provider या self-hosted server की ओर मोड़ा जा सकता है। इससे models की तुलना करना, lock-in से बचना और workloads को वहाँ ले जाना आसान हो जाता है जहाँ कीमत और quality सबसे अच्छी हो।

इसी वजह से local tools इतने सारे software के साथ बिना किसी अतिरिक्त setup के काम करते हैं। "Custom OpenAI endpoint" setting वाला कोई भी app Ollama, LM Studio या vLLM से बात कर सकता है।

गहन अध्ययन

जब OpenAI ने 2023 में अपनी Chat Completions API release की, तो उसका format जल्दी ही वह format बन गया जिसके लिए ज़्यादातर developers और tools लिखे जाते थे: /v1/chat/completions पर एक POST, जिसमें model का नाम और messages की एक list होती है, और हर message में एक role (system, user या assistant) और content होता है। दूसरे providers और open-source servers ने पाया कि adoption पाने का सबसे आसान तरीका यही format स्वीकार करना है।

नतीजा एक de facto standard है। "OpenAI-compatible" server यही protocol बोलता है, भले ही उसके पीछे के model का OpenAI से कोई लेना-देना न हो। बदलने के लिए आप अपने client में दो settings बदलते हैं: base URL और API key।

यह कैसा दिखता है

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",  # Ollama, or any compatible server
    api_key="not-needed-locally",
)

response = client.chat.completions.create(
    model="llama3.2",
    messages=[{"role": "user", "content": "Explain KV caching in one sentence."}],
)
print(response.choices[0].message.content)

base_url और model बदलने पर यही code किसी दूसरे server के साथ काम करता है।

कौन इसे support करता है

  • Local और self-hosted servers: vLLM, Ollama (localhost:11434/v1), LM Studio (localhost:1234/v1), llama.cpp server और SGLang।
  • Inference providers: Together AI, Fireworks AI, Groq, Cerebras, DeepSeek, Mistral, xAI और कई दूसरे।
  • Aggregators और gateways: OpenRouter और LiteLLM एक ही compatible endpoint से सैकड़ों models उपलब्ध कराते हैं।
  • दूसरे बड़े labs: Google Gemini के लिए OpenAI-compatible endpoint देता है, और Anthropic एक compatibility layer देता है जो मुख्य रूप से testing के लिए है।

Compatibility कहाँ टूटती है

"Compatible" का मतलब आम तौर पर यह है कि बुनियादी चीज़ें चलती हैं: messages अंदर, text बाहर, streaming। इसके आगे अंतर की उम्मीद रखिए।

  • Tool calling: format ज़्यादातर साझा है, लेकिन reliability, parallel calls और tool arguments की streaming server और model के हिसाब से बदलती है।
  • Structured output: JSON schema वाला response_format कुछ servers पर supported है, कुछ पर आंशिक रूप से, और कुछ इसे अनदेखा कर देते हैं।
  • Reasoning: thinking tokens के लिए कोई तय field नहीं है। Providers उन्हें अलग-अलग जगहों पर लौटाते हैं, या लौटाते ही नहीं।
  • Provider-specific features: prompt caching controls, citations और built-in web search अक्सर OpenAI format में नहीं बैठते, इसलिए compatible endpoint provider की native API से कम चीज़ें देता है।
  • Parameters और errors: unsupported parameters चुपचाप हटाए जा सकते हैं, token usage अलग तरह से report हो सकता है और error codes एक जैसे नहीं होते।

मोटा नियम: सादे chat के लिए compatibility पर भरोसा कीजिए। किसी भी advanced चीज़ के लिए ठीक उसी feature को ठीक उसी server पर test कीजिए, और जब आपको किसी provider की पूरी क्षमताएँ चाहिए तो native API इस्तेमाल कीजिए।

एक बदलता Standard

OpenAI खुद आगे बढ़ चुका है। 2025 में उसने Responses API को अपने recommended interface के रूप में पेश किया, जिसमें built-in tools और server-side conversation state हैं, और साथ ही Chat Completions को support करना जारी रखा। ज़्यादातर ecosystem अब भी Chat Completions को target करता है, हालाँकि कुछ servers ने Responses support जोड़ना शुरू कर दिया है। इस बीच Anthropic की Messages API दूसरा आम format बन गई है, और कई providers अब Anthropic-compatible endpoints भी देते हैं, मुख्य रूप से इसलिए कि coding agents उनके models पर चल सकें।

इसलिए "OpenAI-compatible" को "Chat Completions बोलता है" के रूप में पढ़ना सबसे अच्छा है, एक lowest common denominator जो जल्दी कहीं नहीं जा रहा।

← सभी शब्द
ESC