AlphaGo
Por qué importa
En profundidad
El Go es engañosamente sencillo: dos jugadores colocan por turnos piedras negras y blancas en una cuadrícula de 19 por 19, intentando rodear territorio. Pero el juego tiene del orden de 10^170 configuraciones posibles del tablero — más que la cantidad de átomos del universo observable —, lo que vuelve inútil la búsqueda exhaustiva. Cuando Deep Blue de IBM derrotó a Garry Kasparov en ajedrez en 1997, lo hizo en gran medida mediante cálculo por fuerza bruta, evaluando unos 200 millones de posiciones por segundo. Los expertos esperaban que el Go resistiera otra década o más, porque jugar bien parecía exigir algo parecido a la intuición humana: reconocimiento de patrones, criterio para determinar qué posiciones son prometedoras y sensibilidad para la influencia a largo plazo. El avance de AlphaGo consistió en aprender esa intuición de los datos con redes convolucionales profundas y luego combinarla con apenas la búsqueda guiada suficiente para resultar decisivo.
Dos redes y un árbol de búsqueda
La arquitectura de AlphaGo tiene tres partes móviles. Una red de políticas, una CNN profunda, recibe una posición del tablero y produce una distribución de probabilidad sobre los próximos movimientos prometedores; una red de valor puntúa qué tan buena es una posición y estima qué bando terminará ganando. En cada turno, el sistema ejecuta una búsqueda de árboles de Monte Carlo: simula miles de partidas parciales, utiliza la red de políticas para decidir qué movimientos vale la pena explorar y la red de valor para evaluar las posiciones resultantes sin jugar hasta el final. El entrenamiento se realizó por etapas — primero mediante Aprendizaje supervisado sobre unos 30 millones de posiciones de partidas humanas en servidores de Go en línea (la red aprendió a predecir jugadas de expertos con alrededor de un 57 % de precisión) y después mediante Aprendizaje por refuerzo, en el que la red jugó millones de partidas contra versiones anteriores de sí misma con la victoria como única señal de recompensa. Esta combinación de evaluación aprendida y búsqueda guiada es la idea central; cada Red neuronal ayuda a podar un espacio de búsqueda que el cómputo en bruto no puede abordar.
La jugada 37 y el encuentro que lo cambió todo
AlphaGo apareció por primera vez en los titulares a principios de 2016, cuando DeepMind reveló que el octubre anterior había derrotado por 5–0 a Fan Hui, el entonces campeón europeo — la primera vez que un programa vencía a un profesional en un tablero de tamaño completo sin ventaja. El encuentro con Lee Sedol de ese marzo fue la verdadera prueba: Lee era una leyenda con 18 títulos internacionales y la mayoría de los observadores esperaba que ganara cómodamente. En cambio, AlphaGo ganó las tres primeras partidas y se llevó el encuentro por 4–1. La segunda partida produjo la famosa jugada 37, un golpe de hombro en la quinta línea que los comentaristas interpretaron inicialmente como un error; la propia red de políticas de AlphaGo estimó en aproximadamente una entre diez mil la probabilidad de que un humano la jugara, pero resultó decisiva y hoy se estudia como una idea genuinamente nueva en un juego que los humanos han refinado durante milenios. Lee respondió con una brillante jugada en cuña propia en la cuarta partida (la célebre jugada 78), la única partida que un humano de primer nivel ganó jamás contra las versiones finales de AlphaGo. En 2017, el programa derrotó por 3–0 al número uno mundial Ke Jie y fue retirado del juego competitivo.
No ganó por fuerza bruta
Una idea equivocada común es que AlphaGo ganó por calcular más que Lee Sedol, como Deep Blue se impuso a Kasparov. Lo contrario se acerca más a la verdad: Deep Blue examinaba del orden de 200 millones de posiciones por segundo, mientras que AlphaGo evaluaba apenas miles — varios órdenes de magnitud menos. El factor de ramificación del Go (unas 250 jugadas legales en una posición típica, frente a aproximadamente 35 en el ajedrez) significa que la enumeración en bruto no lleva a ninguna parte; lo que AlphaGo añadió fue criterio aprendido sobre qué puñado de movimientos merecía una mirada más detenida y qué posiciones eran realmente ganadoras. En ese sentido, el sistema juega menos como una calculadora de ajedrez y más como un jugador muy experimentado con memoria perfecta. Sin embargo, conviene no perder de vista los límites: todo lo que AlphaGo sabe sobre Go vive dentro de sus redes de Aprendizaje profundo, y fuera del juego no puede hacer absolutamente nada.
De AlphaGo Zero a MuZero
En 2017, DeepMind publicó AlphaGo Zero, que eliminó por completo el conocimiento humano: partiendo de jugadas aleatorias y conociendo únicamente las reglas, se entrenó solo mediante autojuego, superó la versión que derrotó a Lee Sedol después de unos tres días (venciéndola 100–0) y, tras cuarenta días, era más potente que todas las versiones anteriores. AlphaZero generalizó después el mismo algoritmo al ajedrez y al shogi, alcanzó una fuerza sobrehumana en ambos tras solo horas de autojuego y derrotó al principal motor tradicional, Stockfish, en un encuentro ampliamente debatido. MuZero llevó la idea más lejos: ni siquiera recibe las reglas, sino que aprende un modelo interno de cómo responde el entorno a las acciones — un Modelo del mundo aprendido —, e igualó a AlphaZero en Go, ajedrez y shogi, además de dominar juegos de Atari. Este linaje importa porque cada paso eliminó otra dependencia de ejemplos humanos y mostró que la búsqueda combinada con la mejora propia puede hacer surgir experiencia desde cero.
El legado en la IA moderna
El impacto de AlphaGo sobrevivió con creces a su retiro de la competición. El encuentro se ejecutó en el hardware TPU personalizado de Google, y sus secuelas encendieron la ola moderna de IA — Corea del Sur anunció una estrategia nacional de IA en cuestión de semanas y la inversión en aprendizaje profundo se disparó en todo el mundo. DeepMind aplicó una estrategia similar impulsada por el aprendizaje a la ciencia con AlphaFold, que resolvió en la práctica la predicción de estructuras de proteínas. En la IA de lenguaje, las huellas están en todas partes: RLHF y sus variantes son aprendizaje por refuerzo impulsado por una señal de recompensa, y los modelos modernos de Razonamiento combinan aprendizaje por refuerzo con una exploración similar a la búsqueda durante la inferencia — un descendiente directo de la receta de AlphaGo de permitir que un sistema practique, evalúe sus propios intentos y conserve lo que funciona.