LLM comme juge
Pourquoi c’est important
En profondeur
Le montage a trois ingrédients : un prompt de test, une ou plusieurs réponses candidates, et un prompt de jugement qui dit au modèle évaluateur comment noter. Le prompt de jugement inclut typiquement l'entrée originale, la sortie candidate, une réponse de référence facultative et une grille — par exemple, « évalue l'utilité, l'exactitude et la clarté sur une échelle de 1 à 5, explique ton raisonnement, puis donne le score final ». Demander au juge de raisonner avant de noter, dans une étape de chaîne de pensée, améliore systématiquement l'accord avec les évaluateurs humains par rapport à une simple demande de chiffre nu. Une fois la grille écrite, le même appel de juge s'exécute sur des centaines ou des milliers de cas de test pour quelques cents chacun, et c'est ce qui rend l'approche praticable pour une évaluation continue à une fraction du coût de l'annotation humaine.
Notation par paires ou ponctuelle
Il y a deux montages de base. En notation ponctuelle, le juge voit une réponse et la note selon la grille, habituellement sur une échelle de 1 à 5 ou de 1 à 10; G-Eval, un cadre influent de 2023, a montré que guider le juge à travers la grille étape par étape produit des scores qui suivent les évaluations humaines sur les tâches de résumé et de dialogue. En comparaison par paires, le juge voit deux réponses au même prompt et choisit un gagnant, ce qui est le fonctionnement de MT-Bench et de la plupart des évaluations automatisées de type arène. La comparaison par paires est généralement plus fiable, parce que choisir entre deux candidats est une tâche plus facile que calibrer un score absolu, et elle contourne le problème de voir toutes les réponses atterrir à 4 sur 5. La notation ponctuelle, en revanche, revient moins cher pour noter la sortie d'un seul système à grande échelle, puisque chaque cas de test n'exige qu'un appel de juge. La plupart des chaînes de production utilisent les deux : des scores ponctuels pour le suivi des régressions, des verdicts par paires pour les comparaisons de modèles en tête-à-tête.
Des bancs d'essai aux boucles d'entraînement
La même mécanique sert à trois travaux différents. Premièrement, les bancs d'essai : MT-Bench note les réponses de conversation multitours avec un juge solide et est devenu une métrique de classement standard pour la qualité conversationnelle. Deuxièmement, les données d'entraînement : les préférences du juge sur des paires de réponses deviennent des données de préférence synthétiques qui entraînent un modèle de récompense, lequel pilote ensuite une optimisation de type RLHF — cette chaîne est essentiellement ce à quoi le RLAIF renvoie, et c'est ainsi que les laboratoires étendent l'apprentissage par préférences au-delà de ce que des annotateurs humains peuvent produire. Troisièmement, les tests de régression : les équipes produit gardent un ensemble fixe de prompts de test et rejugent les sorties à chaque changement de modèle ou de prompt, attrapant les régressions de qualité avant la publication. Dans les trois cas, le juge fait un travail auquel les humains ne peuvent pas s'échelonner ou qu'ils ne peuvent pas faire de façon constante.
Le problème des biais
Les juges à modèle de langage ont des modes d'échec documentés, et les ignorer produit des classements sans valeur. Biais de position : bien des juges favorisent la réponse qui apparaît en premier (ou en second), donc les chaînes sérieuses passent chaque paire dans les deux ordres et ne gardent que les verdicts qui survivent à l'inversion. Biais de verbosité : les juges préfèrent systématiquement les réponses plus longues et plus structurées même quand la longueur supplémentaire n'ajoute rien, et c'est pourquoi des variantes de notation à longueur contrôlée existent. Biais d'autopréférence : un modèle utilisé comme juge tend à mieux noter les sorties de sa propre famille qu'un juge indépendant ne le ferait, donc les montages les plus sûrs jugent avec un modèle d'une autre famille que celui évalué. Le formatage de surface compte aussi — en-têtes markdown, listes à puces et ton assuré poussent tous les scores vers le haut. Rien de tout ça n'est fatal, mais ça veut dire que le prompt et le protocole de jugement comptent autant que le modèle juge.
Ça ne remplacera pas le jugement humain
Une idée fausse répandue veut qu'un bon juge rende l'évaluation humaine obsolète. L'accord rapporté entre les meilleurs modèles juges et les évaluateurs humains dépasse 80 % sur des bancs d'essai comme MT-Bench — à peu près le niveau d'accord entre deux humains — mais c'est une moyenne, et la fiabilité par exemple est bien plus fragile. Les juges sont mauvais pour attraper l'hallucination assurée et bien formatée, parce que le texte se lit bien et que le juge ne connaît souvent pas non plus la bonne réponse. Ils héritent aussi de leurs propres angles morts, donc les évaluations à enjeux élevés — conseils médicaux, automutilation, résistance au contournement — exigent encore une révision humaine, et les prétentions de classement gagnent à être validées contre des votes de préférence humaine comme Chatbot Arena. Le cadrage honnête : un juge à modèle de langage est un substitut peu coûteux et bruité de la préférence humaine, excellent pour le classement et la détection de régressions, pas une source de vérité terrain.
Quand faire confiance au juge
Comme règle empirique, le jugement fonctionne le mieux là où la qualité porte sur la façon de dire les choses plutôt que sur leur exactitude : suivi d'instructions, ton, utilité, fluidité d'un résumé, qualité conversationnelle. Il fonctionne le moins bien à la frontière factuelle, où le juge ne connaît pas la réponse non plus, dans les domaines spécialisés où le modèle juge est faible, et dans les langues à faibles ressources. L'hygiène standard consiste à bâtir un petit ensemble de référence de quelques centaines d'exemples étiquetés par des humains, à mesurer l'accord juge-humain avant de passer à l'échelle, et à revalider chaque fois que le modèle juge, la grille ou la distribution des tâches change. Les équipes qui sautent cette étape finissent par optimiser leurs modèles pour plaire au juge plutôt qu'à l'utilisateur — un mode d'échec qui se manifeste par des modèles qui écrivent des réponses plus longues, plus décorées et subtilement moins bonnes.