Aller au contenu principal
Zubnet AI › Apprendre › Wiki › Self-Play
Entraînement

Self-Play

Aussi appelé : Self-Play Reinforcement Learning, Auto-jeu
Une méthode d'entraînement où une IA progresse en affrontant des copies d'elle-même, générant ainsi ses propres données d'entraînement de plus en plus difficiles.

Pourquoi c'est important

Le self-play a produit certains des résultats les plus célèbres de l'IA. AlphaGo s'en est servi pour dépasser les parties humaines dont il était parti. AlphaGo Zero (2017) a entièrement abandonné les données humaines : en partant d'un jeu aléatoire et en ne connaissant que les règles, il a surpassé en quelques jours la version qui avait battu le champion du monde Lee Sedol, en gagnant 100 parties à 0. AlphaZero a utilisé la même recette pour maîtriser les échecs et le shogi.

C'est la démonstration la plus nette qu'un système d'IA peut dépasser le savoir humain au lieu de l'imiter. C'est important aujourd'hui parce que les modèles de langage apprennent surtout à partir de textes écrits par des humains, et que les chercheurs cherchent des moyens de franchir ce plafond.

En profondeur

Pour devenir bon à un jeu, il faut des adversaires de son niveau. Un débutant n'apprend rien à se faire écraser par un grand maître, et un grand maître n'apprend rien à battre un débutant. Le self-play donne à une IA le partenaire d'entraînement parfait : elle-même. L'agent joue contre sa version actuelle ou des versions antérieures, apprend de ses victoires et de ses défaites, et devient un joueur légèrement meilleur, ce qui en fait à son tour un adversaire légèrement plus coriace.

Comme l'adversaire progresse au même rythme que l'apprenant, la difficulté augmente automatiquement, et la quantité de parties d'entraînement n'est limitée que par le calcul.

Une brève histoire

  • 1959 : le programme de dames d'Arthur Samuel chez IBM progresse en jouant contre lui-même.
  • 1992 : TD-Gammon atteint un niveau d'expert au backgammon grâce au self-play et découvre des stratégies que les joueurs humains ont ensuite adoptées.
  • 2016–2017 : AlphaGo, AlphaGo Zero et AlphaZero.
  • 2019 : OpenAI Five bat les champions du monde de Dota 2 après l'équivalent de dizaines de milliers d'années de self-play. AlphaStar de DeepMind atteint le niveau grand maître à StarCraft II, et l'IA de poker Pluribus bat des professionnels au Texas hold'em no-limit à six joueurs.

Pourquoi ça marche

Le self-play crée un curriculum automatique : les tâches deviennent plus difficiles exactement aussi vite que l'apprenant peut le supporter. Il n'a pas non plus besoin de données étiquetées, seulement d'un ensemble de règles et d'un moyen de dire qui a gagné.

Comment ça déraille

  • Courir après sa queue : un agent peut apprendre la stratégie B pour battre A, puis C pour battre B, puis revenir à A, comme à pierre-feuille-ciseaux, sans vraiment progresser. Le remède consiste à jouer contre un ensemble de versions passées. AlphaStar utilisait toute une « ligue » d'agents, dont certains avaient pour seule mission d'exploiter les faiblesses des agents principaux.
  • Angles morts : un agent qui n'a jamais affronté que lui-même peut être fragile face à des styles inhabituels. En 2023, des joueurs amateurs ont battu un programme de go de premier plan grâce à une stratégie inhabituelle trouvée par une IA adverse.
  • Besoin d'un score clair : cela fonctionne là où il existe un simulateur et un vainqueur sans ambiguïté. La plupart des tâches du monde réel n'ont ni l'un ni l'autre.

Le self-play et les LLM

Appliquer l'idée au langage est un domaine de recherche actif. On peut citer des modèles qui débattent entre eux devant un juge, des modèles attaquants et défenseurs pour le red teaming automatisé, des jeux de négociation et de déduction sociale, et des dispositifs où un modèle propose des problèmes qu'un autre doit résoudre, avec l'exécution de code comme arbitre. L'obstacle, c'est la notation : un texte a rarement une condition de victoire claire, si bien que ces méthodes fonctionnent le mieux là où les réponses peuvent être vérifiées automatiquement, comme en mathématiques, en code et dans les jeux.

← Tous les termes
ESC