Self-Play
Por que isso importa
O self-play produziu alguns dos resultados mais famosos da IA. O AlphaGo o usou para ir além das partidas humanas das quais partiu. O AlphaGo Zero (2017) abandonou por completo os dados humanos: começando com jogadas aleatórias e conhecendo apenas as regras, ele superou em poucos dias a versão que tinha vencido o campeão mundial Lee Sedol, ganhando por 100 partidas a 0. O AlphaZero usou a mesma receita para dominar o xadrez e o shogi.
É a demonstração mais clara de que um sistema de IA pode superar o conhecimento humano em vez de imitá-lo. Isso importa hoje porque os modelos de linguagem aprendem principalmente com texto escrito por humanos, e os pesquisadores procuram maneiras de passar desse teto.
Em profundidade
Para ficar bom em um jogo, você precisa de adversários do seu nível. Um iniciante não aprende nada sendo esmagado por um grande mestre, e um grande mestre não aprende nada vencendo um iniciante. O self-play dá a uma IA o parceiro de treino perfeito: ela mesma. O agente joga contra a própria versão atual ou contra versões anteriores, aprende com as vitórias e as derrotas e se torna um jogador um pouco melhor, o que por sua vez faz dele um adversário um pouco mais duro.
Como o adversário melhora no mesmo ritmo do aprendiz, a dificuldade sobe automaticamente, e a oferta de partidas de treino só é limitada pela computação.
Uma breve história
- 1959: o programa de damas de Arthur Samuel, na IBM, melhora jogando contra si mesmo.
- 1992: o TD-Gammon chega ao nível de especialista em gamão por meio de self-play e descobre estratégias que jogadores humanos adotaram depois.
- 2016–2017: AlphaGo, AlphaGo Zero e AlphaZero.
- 2019: o OpenAI Five derrota os campeões mundiais de Dota 2 depois do equivalente a dezenas de milhares de anos de self-play. O AlphaStar, da DeepMind, chega ao nível de grão-mestre em StarCraft II, e a IA de pôquer Pluribus vence profissionais no Texas hold'em sem limite com seis jogadores.
Por que funciona
O self-play cria um currículo automático: as tarefas ficam mais difíceis exatamente na velocidade que o aprendiz aguenta. Ele também não precisa de dados rotulados, apenas de um conjunto de regras e de uma forma de dizer quem ganhou.
Como dá errado
- Correr atrás do próprio rabo: um agente pode aprender a estratégia B para vencer A, depois C para vencer B, e então voltar para A, como em pedra, papel e tesoura, sem melhorar de verdade. A correção é jogar contra um conjunto de versões passadas. O AlphaStar usou uma "liga" inteira de agentes, incluindo alguns cuja única função era explorar as fraquezas dos agentes principais.
- Pontos cegos: um agente que só enfrentou a si mesmo pode ser frágil contra estilos desconhecidos. Em 2023, jogadores amadores venceram um dos melhores programas de Go usando uma estratégia incomum encontrada por uma IA adversária.
- Precisa de um placar claro: funciona onde há um simulador e um vencedor inequívoco. A maioria das tarefas do mundo real não tem nenhum dos dois.
Self-play e LLMs
Aplicar a ideia à linguagem é uma área de pesquisa ativa. Entre os exemplos estão modelos que debatem entre si diante de um juiz, modelos atacantes e defensores para red teaming automatizado, jogos de negociação e de dedução social, e arranjos em que um modelo propõe problemas que outro precisa resolver, com a execução de código como árbitro. O obstáculo é a pontuação: texto raramente tem uma condição de vitória clara, então esses métodos funcionam melhor onde as respostas podem ser verificadas automaticamente, como em matemática, código e jogos.