AlphaGo
Pourquoi c’est important
En profondeur
Le go est trompeusement simple : deux joueurs placent à tour de rôle des pierres noires et blanches sur une grille de 19 sur 19, en tentant d'encercler du territoire. Mais le jeu compte de l'ordre de 10^170 configurations de plateau possibles — plus que le nombre d'atomes dans l'univers observable — ce qui rend la recherche exhaustive sans espoir. Quand Deep Blue d'IBM a battu Garry Kasparov aux échecs en 1997, il l'a fait en grande partie par calcul de force brute, en évaluant quelque 200 millions de positions par seconde. Les experts s'attendaient à ce que le go tienne encore une décennie ou plus, parce que bien jouer semblait exiger quelque chose comme l'intuition humaine : reconnaissance de motifs, jugement sur les positions prometteuses et sens de l'influence à long terme. La percée d'AlphaGo a été d'apprendre cette intuition à partir de données au moyen de réseaux convolutifs profonds, puis de la combiner à juste assez de recherche guidée pour être décisif.
Deux réseaux et un arbre de recherche
L'architecture d'AlphaGo comporte trois pièces mobiles. Un réseau de politique, un réseau convolutif profond, prend une position de plateau et produit une distribution de probabilité sur les coups prometteurs; un réseau de valeur note la qualité d'une position en estimant quel camp finira par gagner. Au moment de jouer, le système lance une recherche arborescente Monte-Carlo : il simule des milliers de parties partielles, utilisant le réseau de politique pour décider quels coups valent la peine d'être explorés et le réseau de valeur pour évaluer les positions qui en résultent sans les jouer jusqu'au bout. L'entraînement s'est fait par étapes — d'abord un apprentissage supervisé sur environ 30 millions de positions tirées de parties humaines sur des serveurs de go en ligne (le réseau a appris à prédire les coups d'experts avec une justesse d'environ 57 %), puis un apprentissage par renforcement, où le réseau a joué des millions de parties contre des versions antérieures de lui-même avec la victoire comme seul signal de récompense. Cette combinaison d'évaluation apprise et de recherche guidée est l'idée centrale; les réseaux de neurones élaguent un espace de recherche que le calcul brut ne peut pas toucher.
Le coup 37 et le match qui a tout changé
AlphaGo a fait les manchettes une première fois au début de 2016, quand DeepMind a révélé avoir battu Fan Hui, champion d'Europe en titre, 5–0 en octobre précédent — la première fois qu'un programme battait un professionnel sur un plateau pleine grandeur sans handicap. Le match contre Lee Sedol en mars a été le vrai test : Lee était une légende aux 18 titres internationaux, et la plupart des observateurs s'attendaient à ce qu'il gagne aisément. AlphaGo a plutôt remporté les trois premières parties et enlevé le match 4–1. La deuxième partie a produit le fameux coup 37, une épaule sur la cinquième ligne que les commentateurs ont d'abord lue comme une erreur; le réseau de politique d'AlphaGo lui-même estimait à environ une chance sur dix mille qu'un humain le joue, et pourtant il s'est avéré décisif et s'étudie aujourd'hui comme une idée véritablement nouvelle dans un jeu que les humains raffinent depuis des millénaires. Lee a répondu par un brillant coup en coin à la quatrième partie (le célèbre coup 78), la seule partie qu'un grand humain ait jamais gagnée contre les versions finales d'AlphaGo. En 2017, le programme a battu le numéro un mondial Ke Jie 3–0 avant d'être retiré de la compétition.
Il n'a pas gagné par force brute
Une idée fausse répandue veut qu'AlphaGo ait gagné en calculant plus vite que Lee Sedol, comme Deep Blue avait écrasé Kasparov. C'est plutôt l'inverse qui se rapproche de la vérité : Deep Blue examinait de l'ordre de 200 millions de positions par seconde, tandis qu'AlphaGo n'en évaluait que des milliers — des ordres de grandeur de moins. Le facteur de branchement du go (environ 250 coups légaux dans une position typique, contre à peu près 35 aux échecs) fait que l'énumération brute ne mène nulle part; ce qu'AlphaGo a ajouté, c'est un jugement appris sur la poignée de coups méritant un examen plus attentif et sur les positions réellement gagnantes. En ce sens, le système joue moins comme une calculatrice d'échecs que comme un joueur très expérimenté doté d'une mémoire parfaite. Il vaut la peine de garder les limites en vue, par exemple : tout ce qu'AlphaGo sait du go vit dans ses réseaux d'apprentissage profond, et en dehors du jeu il ne peut rien faire du tout.
D'AlphaGo Zero à MuZero
En 2017, DeepMind a publié AlphaGo Zero, qui retirait entièrement la connaissance humaine : partant d'un jeu aléatoire et ne connaissant que les règles, il s'est entraîné uniquement par auto-affrontement, a dépassé la version qui avait battu Lee Sedol après environ trois jours (la défaisant 100–0), et après quarante jours était plus fort que toutes les versions précédentes. AlphaZero a ensuite généralisé le même algorithme aux échecs et au shogi, atteignant une force surhumaine dans chacun après seulement quelques heures d'auto-affrontement et battant le meilleur moteur traditionnel, Stockfish, dans un match largement commenté. MuZero a poussé l'idée le plus loin : on ne lui donne même pas les règles, il apprend plutôt un modèle interne de la façon dont l'environnement réagit aux actions — un modèle du monde appris — et il a égalé AlphaZero au go, aux échecs et au shogi tout en maîtrisant aussi des jeux Atari. Cette lignée compte parce que chaque étape a retiré une dépendance de plus aux exemples humains, montrant que la recherche jumelée à l'auto-amélioration peut amorcer une expertise à partir de rien.
L'héritage dans l'IA moderne
L'incidence d'AlphaGo a largement survécu à son retrait de la compétition. Le match tournait sur le matériel TPU sur mesure de Google, et ses suites ont allumé la vague moderne de l'IA — la Corée du Sud a annoncé une stratégie nationale en IA en quelques semaines, et l'investissement en apprentissage profond a bondi partout dans le monde. DeepMind a appliqué un plan de match semblable, mené par l'apprentissage, à la science avec AlphaFold, qui a de fait résolu la prédiction de la structure des protéines. Dans l'IA du langage, les empreintes sont partout : le RLHF et ses variantes sont de l'apprentissage par renforcement guidé par un signal de récompense, et les modèles de raisonnement modernes jumellent l'apprentissage par renforcement à une exploration apparentée à la recherche au moment de l'inférence — un descendant direct de la recette d'AlphaGo, qui consiste à laisser un système s'exercer, évaluer ses propres tentatives et garder ce qui fonctionne.