Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Self-Play
Entrenamiento

Self-Play

También conocido como: Self-Play Reinforcement Learning, Autojuego
Un método de entrenamiento en el que una IA mejora compitiendo contra copias de sí misma, generando sus propios datos de entrenamiento cada vez más difíciles.

Por qué importa

El self-play produjo algunos de los resultados más famosos de la IA. AlphaGo lo usó para ir más allá de las partidas humanas de las que partió. AlphaGo Zero (2017) prescindió por completo de los datos humanos: empezando con jugadas al azar y conociendo solo las reglas, superó en cuestión de días a la versión que había vencido al campeón mundial Lee Sedol, ganando 100 partidas a 0. AlphaZero usó la misma receta para dominar el ajedrez y el shogi.

Es la demostración más clara de que un sistema de IA puede superar el conocimiento humano en lugar de imitarlo. Eso importa hoy porque los modelos de lenguaje aprenden sobre todo de texto escrito por humanos, y los investigadores buscan formas de superar ese techo.

En profundidad

Para volverte bueno en un juego necesitas rivales de tu nivel. Un principiante no aprende nada si lo aplasta un gran maestro, y un gran maestro no aprende nada ganándole a un principiante. El self-play le da a una IA el compañero de entrenamiento perfecto: ella misma. El agente juega contra su versión actual o contra versiones anteriores, aprende de las victorias y las derrotas, y se vuelve un jugador un poco mejor, lo que a su vez lo convierte en un rival un poco más duro.

Como el rival mejora al mismo ritmo que el aprendiz, la dificultad sube automáticamente, y la cantidad de partidas de entrenamiento solo está limitada por el cómputo.

Una breve historia

  • 1959: el programa de damas de Arthur Samuel en IBM mejora jugando contra sí mismo.
  • 1992: TD-Gammon alcanza un nivel experto en backgammon mediante self-play y descubre estrategias que los jugadores humanos adoptaron después.
  • 2016–2017: AlphaGo, AlphaGo Zero y AlphaZero.
  • 2019: OpenAI Five derrota a los campeones mundiales de Dota 2 tras el equivalente a decenas de miles de años de self-play. AlphaStar, de DeepMind, alcanza el nivel de gran maestro en StarCraft II, y la IA de póker Pluribus vence a profesionales en Texas hold'em sin límite de seis jugadores.

Por qué funciona

El self-play crea un currículo automático: las tareas se vuelven más difíciles exactamente tan rápido como el aprendiz puede soportar. Tampoco necesita datos etiquetados, solo un conjunto de reglas y una forma de saber quién ganó.

Cómo sale mal

  • Perseguirse la cola: un agente puede aprender la estrategia B para ganarle a A, luego C para ganarle a B, y luego volver a A, como en piedra, papel o tijera, sin mejorar de verdad. La solución es jugar contra un conjunto de versiones pasadas. AlphaStar usó toda una «liga» de agentes, incluidos algunos cuyo único trabajo era explotar las debilidades de los agentes principales.
  • Puntos ciegos: un agente que solo se ha enfrentado a sí mismo puede ser frágil ante estilos desconocidos. En 2023, jugadores aficionados vencieron a uno de los mejores programas de go usando una estrategia inusual encontrada por una IA adversaria.
  • Necesita una puntuación clara: funciona donde hay un simulador y un ganador inequívoco. La mayoría de las tareas del mundo real no tienen ninguna de las dos cosas.

Self-play y LLM

Aplicar la idea al lenguaje es un área de investigación activa. Algunos ejemplos son modelos que debaten entre sí ante un juez, modelos atacantes y defensores para el red teaming automatizado, juegos de negociación y de deducción social, y montajes en los que un modelo propone problemas que otro debe resolver, con la ejecución de código como árbitro. El obstáculo es la puntuación: el texto rara vez tiene una condición de victoria clara, así que estos métodos funcionan mejor donde las respuestas pueden verificarse automáticamente, como en matemáticas, código y juegos.

← Todos los términos
ESC