Semantic Search

यह क्यों मायने रखता है

गहन अध्ययन

पाइपलाइन: (1) अपने दस्तावेज़ों को BGE, E5, या Voyage जैसे मॉडल का उपयोग करके embeddings में एन्कोड करें, (2) इन embeddings को vector database (Pinecone, Qdrant, Weaviate, pgvector) में स्टोर करें, (3) जब कोई query आए, तो उसे उसी मॉडल से एन्कोड करें, (4) cosine similarity या dot product जैसे similarity metrics का उपयोग करके निकटतम embeddings खोजें। "how to fix a memory leak" query "debugging RAM consumption in Node.js" शीर्षक वाले दस्तावेज़ से मेल खाती है क्योंकि उनकी embeddings vector space में करीब हैं।

Hybrid Search

शुद्ध semantic search में एक कमज़ोरी है: यह उन सटीक मिलानों को छोड़ सकती है जो keyword search आसानी से पकड़ लेती है। अगर कोई error code "ERR_SSL_PROTOCOL_ERROR" खोजता है, तो semantic search सटीक error के बजाय सामान्य SSL troubleshooting दे सकती है। Hybrid search दोनों को जोड़ती है: सटीकता के लिए keyword matching (BM25) और recall के लिए semantic search, फिर परिणामों को मर्ज करती है। अधिकांश प्रोडक्शन search systems hybrid दृष्टिकोण का उपयोग करते हैं।

Embedding Model का चुनाव महत्वपूर्ण है

Semantic search की गुणवत्ता पूरी तरह से embedding model पर निर्भर करती है। सामान्य-उद्देश्य वाले models (OpenAI का text-embedding-3, Cohere Embed) अधिकांश टेक्स्ट के लिए अच्छे काम करते हैं। Domain-specific models (चिकित्सा, कानूनी, या कोड डेटा पर प्रशिक्षित) अपने domain में सामान्य models से बेहतर प्रदर्शन करते हैं। बहुभाषी models cross-language search को सक्षम करते हैं। MTEB leaderboard कई कार्यों में embedding models का benchmark करता है — यह सही model चुनने का सबसे अच्छा संसाधन है।

संबंधित अवधारणाएँ