Interprétabilité
Pourquoi c'est important
Les gens ont besoin de faire confiance aux systèmes d'IA, de les déboguer et de les encadrer. Un médecin qui examine un diagnostic assisté par IA, une banque qui explique une décision de crédit à un régulateur, un ingénieur qui cherche pourquoi un modèle échoue sur certaines entrées : tous ont besoin d'un compte rendu du raisonnement du modèle. La loi le demande de plus en plus : l'AI Act européen fixe des exigences de transparence pour les systèmes à haut risque, et de nombreuses règles de la finance et de la santé exigent déjà des explications pour les décisions automatisées.
Pour la sûreté de l'IA, l'interprétabilité est vue comme l'un des rares moyens de vérifier ce qu'un modèle fait réellement, et pas seulement ce qu'il dit. Si un modèle pouvait tromper ses testeurs, regarder ses seules sorties ne suffirait pas.
En profondeur
On dit souvent des réseaux de neurones modernes que ce sont des boîtes noires. On connaît leurs entrées et leurs sorties, on peut voir chacun de leurs milliards de nombres, mais on ne sait pas dire facilement pourquoi un modèle a donné telle réponse. L'interprétabilité désigne l'ensemble des méthodes qui tentent d'ouvrir la boîte.
Elle recouvre deux grandes traditions. L'explicabilité (souvent appelée XAI) cherche à expliquer des décisions individuelles en termes humains, par exemple quelles caractéristiques ont le plus pesé dans un refus de prêt. L'interprétabilité mécaniste, qui a sa propre entrée, tente de rétroconcevoir les algorithmes internes qu'un modèle a appris.
Expliquer les décisions
Les méthodes classiques d'explicabilité travaillent de l'extérieur :
- L'attribution de caractéristiques : des méthodes comme SHAP et LIME estiment la contribution de chaque caractéristique d'entrée à une prédiction.
- Les cartes de saillance : elles mettent en évidence les pixels d'une image qui ont le plus influencé un classifieur.
- Les contrefactuels : « le prêt aurait été accordé si le revenu avait été supérieur de 10 % ».
- Les modèles interprétables par conception : arbres de décision et modèles linéaires dont la logique se lit directement, parfois préférés dans les contextes à fort enjeu, quitte à perdre un peu de précision.
Regarder à l'intérieur
Les méthodes pour les réseaux de neurones, et surtout les LLM, examinent les activations internes :
- Les sondes (probing) : entraîner un classifieur simple sur les états cachés d'un modèle pour vérifier s'il représente un concept, comme la véracité ou le sentiment d'une phrase.
- Les auto-encodeurs parcimonieux : ils décomposent les activations en millions de « caractéristiques » interprétables. Les travaux d'Anthropic sur Claude en 2024 ont trouvé des caractéristiques pour des concepts allant du Golden Gate Bridge aux bugs de code, et montré qu'amplifier une caractéristique change le comportement du modèle.
- Le traçage de circuits : cartographier la façon dont les caractéristiques se connectent d'une couche à l'autre pour produire une réponse, par exemple montrer un modèle qui prévoit une rime avant d'écrire le vers.
- Le pilotage (steering) : ajouter ou retirer des directions dans l'espace des activations pour changer le comportement, ce qui teste la compréhension et offre un outil de contrôle.
Lire le raisonnement du modèle
Les modèles de raisonnement produisent une chaîne de pensée avant de répondre. La lire offre une fenêtre utile, quoique partielle, sur leur processus. Mais la recherche montre qu'une chaîne de pensée n'est pas toujours fidèle : les modèles donnent parfois des raisons qui ne correspondent pas à ce qui a réellement motivé leur réponse. Voyez-y un indice, pas une preuve.
Limites
Les explications peuvent induire en erreur si elles simplifient trop, et les méthodes d'attribution se contredisent parfois. Les méthodes internes ont progressé vite, mais n'expliquent encore qu'une fraction de ce que calculent les grands modèles. L'interprétabilité est une boîte à outils qui grandit, pas encore une compréhension complète.