Chunking
यह क्यों मायने रखता है
खराब chunking चुपचाप RAG को बर्बाद कर देती है। Chunks बहुत छोटे हों तो वे context खो देते हैं: "इस setting को बंद करना ज़रूरी है" कहने वाला chunk बेकार है, अगर setting का नाम पिछले chunk में था। Chunks बहुत बड़े हों तो embedding धुंधला हो जाता है, retrieval कम सटीक होता है और context window की जगह बेकार text पर खर्च होती है। जो chunk किसी table या code block को बीच से काट दे, वह दोनों हिस्सों को बेमतलब बना सकता है।
जब RAG system गलत जवाब देता है, तो कई teams बड़ा model उठा लेती हैं। अक्सर असली इलाज upstream में होता है, यानी इस बात में कि documents कैसे बाँटे गए।
गहन अध्ययन
Retrieval-augmented generation (RAG) system 200 पन्नों के manual को एक vector के रूप में ठीक से embed नहीं कर सकता। पूरी चीज़ का एक ही embedding सब कुछ आपस में धुंधला कर देगा, और अगर वह मिल भी जाए तो model के context में ठीक से नहीं समाएगा। इसलिए indexing से पहले documents को chunks में काटा जाता है, जो अक्सर कुछ सौ tokens के होते हैं। हर chunk का अपना embedding बनता है, और सवाल के समय system वे कुछ chunks निकालता है जो query से सबसे ज़्यादा जुड़े हों।
आप कैसे काटते हैं, यह RAG बनाने के सबसे अहम और सबसे कम आँके जाने वाले फ़ैसलों में से एक है।
आम रणनीतियाँ
- Fixed-size: हर N tokens या characters पर काटना। सरल और अनुमान लगाने लायक, लेकिन structure से अनजान।
- Recursive: पहले बड़ी सीमाओं पर काटने की कोशिश (sections, फिर paragraphs, फिर sentences), और छोटी सीमाओं पर तभी आना जब टुकड़ा अब भी बहुत लंबा हो। ज़्यादातर text के लिए समझदार default।
- Structure-aware: document के अपने structure का इस्तेमाल, जैसे Markdown headings, HTML tags, PDF layout, code के functions या table की rows।
- Semantic: sentences को embed करना और जहाँ विषय बदले वहाँ नया chunk शुरू करना। महंगा है, पर ज़्यादा साफ़ units दे सकता है।
Overlap
ज़्यादातर setups पड़ोसी chunks के बीच overlap जोड़ते हैं, अक्सर 10% से 20%, ताकि सीमा के पास का sentence दोनों में आए। इससे यह संभावना घटती है कि कोई अहम जानकारी दो chunks के बीच बँटकर खो जाए।
Chunks को context दीजिए
Document से निकाला गया chunk अक्सर अपने आसपास के संदर्भ के बिना रह जाता है। असरदार इलाज ये हैं:
- Metadata आगे जोड़ना: हर chunk में document का title और section heading जोड़िए।
- Contextual retrieval: LLM से हर chunk के लिए एक छोटा note लिखवाइए जो बताए कि वह document में कहाँ fit होता है, फिर note और chunk को साथ embed कीजिए। Anthropic ने 2024 में बताया कि इससे retrieval failures करीब आधे रह गए, और reranking के साथ और भी कम।
- Small-to-big retrieval: छोटे, सटीक chunks पर search कीजिए, लेकिन model को बड़ा parent section लौटाइए।
व्यावहारिक शुरुआत
करीब 300 से 800 tokens पर कुछ overlap के साथ recursive splitting से शुरू कीजिए, हर chunk में titles और headings जोड़िए, और ऐसे असली सवालों का छोटा test set बनाइए जिनके जवाब पता हों। फिर एक बार में एक चीज़ बदलिए और retrieval quality मापिए। सही आकार आपके documents और आपके सवालों पर निर्भर करता है: छोटे तथ्य वाले lookups के लिए छोटे chunks बेहतर हैं, जबकि व्याख्या माँगने वाले सवालों के लिए बड़े।