GraphRAG
यह क्यों मायने रखता है
GraphRAG सादे RAG की दो सबसे जानी-मानी कमज़ोरियों को निशाना बनाता है:
- Global सवाल जिनके लिए पूरे collection पर नज़र चाहिए: themes, trends, summaries।
- Multi-hop सवाल जिनके लिए अलग-अलग documents के तथ्यों को जोड़ना पड़ता है: A का संबंध B से है, और B का C से।
यह बड़े private collections पर खोजबीन और विश्लेषण वाले काम के लिए सबसे उपयोगी है, जैसे legal discovery, intelligence analysis, scientific literature और enterprise knowledge bases।
गहन अध्ययन
Standard RAG documents को chunks में काटता है, उनके embeddings बनाता है और सवाल से सबसे मिलते-जुलते कुछ chunks निकालता है। जब जवाब एक-दो passages में हो, तब यह अच्छा काम करता है। लेकिन "इन 5,000 reports के मुख्य विषय क्या हैं?" या "यह supplier उस मुकदमे से कैसे जुड़ा है?" जैसे सवालों पर यह नाकाम रहता है, क्योंकि किसी एक chunk में जवाब नहीं होता।
GraphRAG retrieval से पहले structure जोड़ता है। एक LLM documents पढ़ता है और entities (लोग, कंपनियाँ, products, concepts) और उनके बीच के relationships निकालकर एक knowledge graph बनाता है। फिर retrieval सिर्फ़ text की समानता पर निर्भर रहने की जगह connections के पीछे चल सकता है। यह शब्द आम अर्थ में भी इस्तेमाल होता है, और Microsoft Research के 2024 में जारी किए गए एक खास open-source system का नाम भी है।
Microsoft का GraphRAG कैसे काम करता है
Indexing:
- Documents को chunks में बाँटिए।
- LLM से हर chunk में से entities, relationships और मुख्य दावे निकलवाइए।
- उन्हें एक graph में मिला दीजिए, और duplicate entities को जोड़ दीजिए।
- Community detection algorithm चलाइए जो आपस में गहराई से जुड़ी entities को clusters में बाँटे, detail के कई स्तरों पर।
- LLM से हर community के लिए एक summary report लिखवाइए।
Querying:
- Global search: बड़े दायरे वाले सवालों के लिए system सवाल को कई community summaries को देता है, आंशिक जवाब जमा करता है और उन्हें map-reduce के ढंग से जोड़ता है।
- Local search: खास entities के बारे में सवालों के लिए यह मेल खाती entities से शुरू करता है और उनके पड़ोसी, relationships, community reports और source text ले आता है।
कीमत
Indexing महँगी है। हर chunk LLM से गुज़रता है, अक्सर कई बार, और summaries और calls जोड़ती हैं। बड़े collection की indexing की लागत embeddings निकालने से सैकड़ों या हज़ारों गुना ज़्यादा हो सकती है। Updates भी झंझट वाले हैं, क्योंकि नए documents graph और उसकी summaries को बदल सकते हैं। Extraction की quality भी मायने रखती है: छूटी हुई या गलत तरीके से जोड़ी गई entities चुपचाप जवाबों को खराब करती हैं।
हल्के variants इस समस्या से निपटते हैं। Microsoft का LazyGraphRAG LLM का ज़्यादातर काम query के समय तक टाल देता है, और LightRAG और HippoRAG जैसे projects सस्ते ढंग से graph बनाते हैं। Neo4j जैसे graph databases और LlamaIndex जैसे frameworks अपने graph-आधारित retrieval tools देते हैं।
इसे कब इस्तेमाल करें
GraphRAG तब इस्तेमाल कीजिए जब users सच में global या कड़ियाँ जोड़ने वाले सवाल पूछते हों और collection काफ़ी हद तक स्थिर हो। सीधे-सादे तथ्य ढूँढने के लिए इसे इस्तेमाल मत कीजिए, जहाँ reranker के साथ hybrid search सस्ता, तेज़ और आम तौर पर उतना ही अच्छा होता है। एक समझदार रास्ता यह है कि पहले सादा RAG बनाइए, वे सवाल जमा कीजिए जिन पर वह नाकाम रहता है, और देखिए कि क्या वे ऐसे हैं जिन्हें graph ठीक कर देगा।
एक और रास्ता
Agentic retrieval इन्हीं में से कुछ समस्याओं को अलग ढंग से हल करता है: पहले से graph बनाने की जगह एक agent बार-बार search करता है और एक document से दूसरे तक सुरागों का पीछा करता है। इसमें हर query पर ज़्यादा खर्च आता है लेकिन पहले से कुछ नहीं, और कई teams अब graph में निवेश करने से पहले इसे आज़माती हैं।