AlphaGo
Por que isso importa
Em profundidade
O Go é enganosamente simples: dois jogadores alternam colocando pedras pretas e brancas em um tabuleiro de 19 por 19, tentando cercar território. Mas o jogo tem da ordem de 10^170 configurações possíveis de tabuleiro — mais do que o número de átomos no universo observável — o que torna a busca exaustiva sem esperança. Quando o Deep Blue da IBM venceu Garry Kasparov no xadrez em 1997, fê-lo em grande parte por cálculo de força bruta, avaliando cerca de 200 milhões de posições por segundo. Especialistas esperavam que o Go resistisse por mais uma década ou mais, porque o bom jogo parecia exigir algo como intuição humana: reconhecimento de padrões, julgamento sobre quais posições são promissoras e uma sensibilidade para influência de longo prazo. A descoberta do AlphaGo foi aprender essa intuição a partir de dados com redes convolucionais profundas, e então combiná-la com busca guiada apenas o suficiente para ser decisiva.
Duas Redes e uma Árvore de Busca
A arquitetura do AlphaGo tem três partes móveis. Uma rede de política, uma rede convolucional profunda, recebe uma posição do tabuleiro e produz uma distribuição de probabilidade sobre os próximos lances promissores; uma rede de valor pontua quão boa é uma posição, estimando qual lado vencerá no final. Na hora do lance, o sistema roda busca em árvore de Monte Carlo: simula milhares de partidas parciais, usando a rede de política para decidir quais lances valem explorar e a rede de valor para avaliar as posições resultantes sem jogá-las até o fim. O treinamento aconteceu em estágios — primeiro aprendizado supervisionado em cerca de 30 milhões de posições de partidas humanas em servidores online de Go (a rede aprendeu a prever lances de especialistas com cerca de 57% de precisão), depois aprendizado por reforço, em que a rede jogou milhões de partidas contra versões anteriores de si mesma, com a vitória como único sinal de recompensa. Essa combinação de avaliação aprendida e busca guiada é a ideia central; as redes neurais podam um espaço de busca que a computação bruta não alcança.
O Lance 37 e a Partida que Mudou Tudo
O AlphaGo primeiro ganhou manchetes no início de 2016, quando a DeepMind revelou que havia vencido Fan Hui, o então campeão europeu, por 5–0 em outubro anterior — a primeira vez que um programa derrotou um profissional em um tabuleiro de tamanho completo sem handicap. A partida contra Lee Sedol naquele março foi o teste de verdade: Lee era uma lenda com 18 títulos internacionais, e a maioria dos observadores esperava que ele vencesse com folga. Em vez disso, o AlphaGo venceu as três primeiras partidas e levou a série por 4–1. A segunda partida produziu o famoso Lance 37, um golpe no ombro na quinta linha que os comentaristas inicialmente leram como erro; a própria rede de política do AlphaGo estimava as chances de um humano jogá-lo em cerca de uma em dez mil, mas ele se provou decisivo e hoje é estudado como uma ideia genuinamente nova em um jogo que humanos refinaram por milênios. Lee respondeu com um brilhante lance de cunha na quarta partida (o celebrado Lance 78), a única partida que um humano de elite já venceu contra as versões finais do AlphaGo. Em 2017, o programa venceu o número um do mundo, Ke Jie, por 3–0 e foi aposentado do jogo competitivo.
Ele Não Venceu pela Força Bruta
Um equívoco comum é que o AlphaGo venceu calculando mais que Lee Sedol, da forma como o Deep Blue sobrepujou Kasparov. O oposto está mais perto da verdade: o Deep Blue examinava da ordem de 200 milhões de posições por segundo, enquanto o AlphaGo avaliava apenas milhares — ordens de magnitude a menos. O fator de ramificação do Go (cerca de 250 lances legais em uma posição típica, contra aproximadamente 35 no xadrez) significa que a enumeração bruta não leva a lugar nenhum; o que o AlphaGo acrescentou foi julgamento aprendido sobre qual punhado de lances merecia um olhar mais atento e quais posições estavam de fato vencidas. Nesse sentido, o sistema joga menos como uma calculadora de xadrez e mais como um jogador muito experiente com memória perfeita. Vale manter os limites em vista, porém: tudo o que o AlphaGo sabe sobre Go vive dentro de suas redes de aprendizado profundo, e fora do jogo ele não consegue fazer nada.
Do AlphaGo Zero ao MuZero
Em 2017, a DeepMind publicou o AlphaGo Zero, que removeu o conhecimento humano por completo: partindo de jogo aleatório e conhecendo apenas as regras, ele treinou puramente com autojogo, superou a versão que venceu Lee Sedol após cerca de três dias (derrotando-a por 100–0) e, após quarenta dias, era mais forte que todas as versões anteriores. O AlphaZero então generalizou o mesmo algoritmo para xadrez e shogi, alcançando força sobre-humana em cada um após apenas horas de autojogo e vencendo o melhor motor tradicional, o Stockfish, em uma partida amplamente discutida. O MuZero levou a ideia mais longe: ele nem sequer recebe as regras, aprendendo em vez disso um modelo interno de como o ambiente responde às ações — um modelo de mundo aprendido — e empatou com o AlphaZero em Go, xadrez e shogi, ao mesmo tempo em que dominou jogos de Atari. Essa linhagem importa porque cada passo removeu mais uma dependência de exemplos humanos, mostrando que busca mais autoaperfeiçoamento podem criar expertise do zero.
O Legado na IA Moderna
O impacto do AlphaGo sobreviveu de longe à sua aposentadoria das competições. A partida rodou no hardware TPU customizado do Google, e suas consequências acenderam a onda moderna de IA — a Coreia do Sul anunciou uma estratégia nacional de IA em semanas, e o investimento em aprendizado profundo disparou no mundo todo. A DeepMind aplicou um manual semelhante, movido a aprendizado, à ciência com o AlphaFold, que efetivamente resolveu a predição de estrutura de proteínas. Dentro da IA de linguagem, as impressões digitais estão por toda parte: RLHF e suas variantes são aprendizado por reforço movido por um sinal de recompensa, e os modelos modernos de raciocínio combinam aprendizado por reforço com exploração semelhante à busca em tempo de inferência — um descendente direto da receita do AlphaGo de deixar um sistema praticar, avaliar as próprias tentativas e ficar com o que funciona.