Découpage en chunks
Pourquoi c'est important
Un mauvais découpage ruine un RAG sans faire de bruit. Si les chunks sont trop petits, ils perdent leur contexte : un chunk qui dit « ce paramètre doit être désactivé » ne sert à rien si le nom du paramètre était dans le chunk précédent. S'ils sont trop grands, l'embedding devient vague, la récupération perd en précision et vous gaspillez de la fenêtre de contexte avec du texte hors sujet. Un chunk qui coupe en deux un tableau ou un bloc de code peut rendre les deux moitiés inutilisables.
Quand un système RAG donne de mauvaises réponses, beaucoup d'équipes pensent d'abord à un plus gros modèle. Souvent, le vrai remède est en amont, dans la façon dont les documents ont été découpés.
En profondeur
Un système de génération augmentée par récupération (RAG) ne peut pas encoder utilement un manuel de 200 pages en un seul vecteur. Un embedding unique pour l'ensemble mélangerait tout, et même si on le retrouvait, il ne tiendrait pas proprement dans le contexte du modèle. Avant l'indexation, les documents sont donc découpés en chunks, souvent de quelques centaines de tokens chacun. Chaque chunk reçoit son propre embedding, et au moment de la question, le système récupère les quelques chunks les plus pertinents.
La façon de découper est l'une des décisions les plus importantes, et les plus sous-estimées, d'un projet RAG.
Stratégies courantes
- Taille fixe : couper tous les N tokens ou caractères. Simple et prévisible, mais aveugle à la structure.
- Récursif : essayer d'abord de couper aux grandes frontières (sections, puis paragraphes, puis phrases), et ne descendre aux plus petites que si un morceau reste trop long. Un bon choix par défaut pour la plupart des textes.
- Selon la structure : s'appuyer sur la structure propre au document, comme les titres Markdown, les balises HTML, la mise en page d'un PDF, les fonctions dans du code ou les lignes d'un tableau.
- Sémantique : encoder les phrases et commencer un nouveau chunk là où le sujet change. Plus coûteux, mais donne parfois des unités plus nettes.
Le recouvrement
La plupart des configurations ajoutent un recouvrement entre chunks voisins, souvent de 10 à 20 %, pour qu'une phrase proche d'une frontière figure dans les deux. Cela réduit le risque qu'une information clé soit coupée entre deux chunks et perdue.
Donner du contexte aux chunks
Un chunk sorti de son document manque souvent de ce qui l'entoure. Des remèdes efficaces :
- Ajouter des métadonnées en tête : placer le titre du document et le titre de section devant chaque chunk.
- La récupération contextuelle : utiliser un LLM pour écrire une courte note par chunk expliquant sa place dans le document, puis encoder la note avec le chunk. Anthropic a rapporté en 2024 que cela réduisait d'environ moitié les échecs de récupération, et davantage encore combiné au reranking.
- La récupération du petit au grand : chercher sur de petits chunks précis, mais renvoyer au modèle la section parente plus large.
Point de départ pratique
Commencez par un découpage récursif d'environ 300 à 800 tokens avec un peu de recouvrement, ajoutez titres et intertitres à chaque chunk, et constituez un petit jeu de test de vraies questions aux réponses connues. Changez ensuite une seule chose à la fois et mesurez la qualité de la récupération. La bonne taille dépend de vos documents et de vos questions : les recherches factuelles courtes favorisent les petits chunks, les questions qui demandent des explications en favorisent de plus grands.