मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Hybrid Search
AI उपयोग

Hybrid Search

इसे भी कहा जाता है: BM25, Keyword + Vector Search
पारंपरिक keyword search को vector (semantic) search के साथ मिलाना, ताकि नतीजे सटीक शब्दों से भी मेल खाएँ और कुल अर्थ से भी।

यह क्यों मायने रखता है

शुद्ध vector search, जिसे कई RAG tutorials default में इस्तेमाल करते हैं, exact matches में जूझता है: product codes, error messages, function names, लोगों के नाम, acronyms और दुर्लभ jargon। "error E-4012" माँगिए तो embedding model दूसरी errors वाले documents लौटा सकता है, क्योंकि वे "semantically similar" हैं। Keyword search इसे सटीक पकड़ता है, लेकिन synonyms और paraphrases चूक जाता है: "अपना plan कैसे cancel करूँ" की search उस page को छोड़ सकती है जिसका शीर्षक "Subscription समाप्त करना" है।

सिर्फ़ vector वाले RAG system में keyword search जोड़ना quality बढ़ाने के सबसे सस्ते और भरोसेमंद तरीकों में से एक है। ज़्यादातर vector databases और search engines (Elasticsearch, OpenSearch, Weaviate, Qdrant, full-text search के साथ pgvector और दूसरे) इसे support करते हैं।

गहन अध्ययन

Text में search करने के दो मुख्य तरीके हैं। Keyword search (जिसे lexical या sparse search भी कहते हैं) वे documents ढूँढता है जिनमें आपकी query के शब्द हों, और BM25 दशकों से इसकी standard scoring विधि रही है। Vector search (semantic या dense search) query और documents को embed करता है और वे documents ढूँढता है जो अर्थ में सबसे करीब हों, भले ही उनमें एक भी शब्द साझा न हो।

दोनों वहीं चूकते हैं जहाँ दूसरा कामयाब होता है। Hybrid search दोनों चलाता है और नतीजों को मिला देता है।

BM25 कैसे काम करता है, संक्षेप में

BM25 किसी document को तब ऊँचा score देता है जब उसमें query के शब्द बार-बार आते हों और वे शब्द पूरे collection में दुर्लभ हों, और बहुत लंबे documents को कम score देता है, जहाँ शब्दों का मेल कम मायने रखता है। इसे न training चाहिए, न GPU, और खास terms वाली queries पर इसे हराना कठिन है।

दोनों result lists को मिलाना

दोनों searches अलग-अलग पैमानों पर scores देते हैं, इसलिए उन्हें सीधे जोड़ा नहीं जा सकता। आम तरीके:

  • Reciprocal Rank Fusion (RRF): raw scores को छोड़िए और rank position के आधार पर मिलाइए। किसी document का fused score दोनों lists में 1 / (k + rank) का जोड़ है, जहाँ k अक्सर 60 रखा जाता है। सरल, मज़बूत और सबसे आम default।
  • Weighted score fusion: दोनों scores को normalize करके एक weight से मिलाइए (जैसे 70% vector, 30% keyword)। ज़्यादा tune किया जा सकता है, लेकिन normalization सावधानी माँगता है।

Reranker जोड़िए

एक आम high-quality pipeline यह है: keyword और vector search दोनों, मान लीजिए, 50-50 candidates लाते हैं। उन्हें RRF से मिलाया जाता है। फिर एक reranker model query और हर candidate को साथ पढ़कर उन्हें दोबारा क्रम में लगाता है और LLM के लिए top 5 से 10 रखता है। Hybrid search यह संभावना बढ़ाता है कि सही chunk candidates में कहीं हो, और reranker पक्का करता है कि वह सबसे ऊपर आए।

Learned sparse search

दोनों दुनियाओं के बीच SPLADE जैसे learned sparse models हैं, जो neural network से तय करते हैं कि हर document के लिए कौन-से शब्द मायने रखते हैं (उनमें वे जुड़े हुए शब्द भी शामिल हैं जो text में नहीं हैं)। वे keyword search की exact-match वाली ताकत बनाए रखते हैं और साथ में अर्थ की कुछ समझ जोड़ते हैं।

कब इस्तेमाल करें

अगर आपके users नाम, codes, technical terms या ऐसी कोई चीज़ search करते हैं जिसे वे quotes में रखते, तो hybrid search इस्तेमाल कीजिए। असली queries पर मापिए: कुछ पूरी तरह बातचीत वाले data के लिए अकेला vector search ठीक है, लेकिन hybrid शायद ही कभी नुकसान करता है।

← सभी शब्द
ESC