Karpathy abandonne RAG pour la gestion de connaissances native LLM

Andrej Karpathy, ancien directeur IA de Tesla et chercheur chez OpenAI, s'oppose à l'orthodoxie RAG qui domine les assistants IA personnels aujourd'hui. Au lieu de l'approche standard retrieve-augment-generate qui fragmente les documents et fouille les bases de données vectorielles, Karpathy soutient que les LLM devraient gérer l'indexation et les résumés en interne pour les bases de connaissances personnelles à plus petite échelle.

Ceci remet en question la sagesse conventionnelle dans l'outillage IA, où RAG est devenu la solution par défaut pour connecter les LLM aux données personnelles. Chaque assistant IA de Notion à Obsidian suit le même manuel : intégrer vos documents, stocker les vecteurs, récupérer les fragments pertinents, alimenter le LLM. L'approche de Karpathy suggère que ce pipeline introduit une complexité inutile et des points de défaillance potentiels quand on ne traite pas des volumes de données à l'échelle entreprise.

Ce qui frappe, c'est le peu de détails techniques qui accompagnent ce changement. Le reportage original manque de spécificités sur l'implémentation, les comparaisons de performance, ou des exemples concrets de son approche native LLM en action. Sans voir de véritables benchmarks contre les systèmes RAG traditionnels ou comprendre les limitations de fenêtre contextuelle avec lesquelles il travaille, c'est difficile d'évaluer si ceci représente une véritable innovation ou juste une préférence pour une architecture différente.

Pour les développeurs qui bâtissent des outils IA personnels, c'est important parce que ça questionne des suppositions fondamentales sur la récupération d'information. Si Karpathy a raison, on pourrait être en train de sur-ingénier des solutions qui pourraient mieux fonctionner avec des designs plus simples, centrés sur les LLM. Mais sans détails d'implémentation ou données de performance, c'est prématuré d'abandonner les architectures RAG éprouvées. Le vrai test sera de voir des systèmes fonctionnels qui démontrent un rappel et une précision supérieurs comparés aux approches traditionnelles.