跳到主要内容
Zubnet AI › 学习 › Wiki › 自我对弈
训练

自我对弈

别名:Self-Play、Self-Play Reinforcement Learning、自博弈
一种训练方法,AI 通过与自己的副本对抗来提高水平,并自行生成难度不断提升的训练数据。

为什么重要

自我对弈造就了 AI 领域一些最著名的成果。AlphaGo 用它超越了最初学习的人类棋谱。AlphaGo Zero(2017 年)完全抛弃了人类数据:从随机落子开始,只知道规则,几天之内就超过了曾击败世界冠军李世石的那个版本,战绩是 100 比 0。AlphaZero 用同样的方法掌握了国际象棋和将棋。

这是 AI 系统可以超越人类知识而不只是模仿它的最清楚的证明。这在今天之所以重要,是因为语言模型主要从人类写的文本中学习,而研究者正在寻找突破这层天花板的办法。

深度解析

想把一种游戏玩好,你需要水平相当的对手。新手被特级大师碾压学不到任何东西,特级大师打败新手也学不到任何东西。自我对弈给了 AI 一个完美的陪练:它自己。智能体与自己的当前版本或早期版本对局,从胜负中学习,成为一个稍强一点的棋手,这又让它成了一个稍难对付一点的对手。

因为对手与学习者同步进步,难度会自动上升,训练对局的数量只受算力限制。

简史

  • 1959 年:Arthur Samuel 在 IBM 编写的跳棋程序通过与自己对弈而进步。
  • 1992 年:TD-Gammon 通过自我对弈达到了西洋双陆棋的专家水平,还发现了后来被人类棋手采纳的策略。
  • 2016–2017 年:AlphaGo、AlphaGo Zero 和 AlphaZero。
  • 2019 年:OpenAI Five 在相当于数万年的自我对弈之后击败了 Dota 2 世界冠军。DeepMind 的 AlphaStar 在《星际争霸 II》中达到宗师级水平,扑克 AI Pluribus 在六人无限注德州扑克中击败了职业选手。

为什么有效

自我对弈会自动形成一套课程:任务变难的速度恰好与学习者的承受能力同步。它也不需要标注数据,只需要一套规则和一种判定谁赢的办法。

会在哪里出问题

  • 原地打转:智能体可能学会用策略 B 打败 A,再用 C 打败 B,然后又回到 A,就像石头剪刀布,并没有真正进步。解决办法是与一批历史版本对局。AlphaStar 使用了一整个由智能体组成的“联盟”,其中一些智能体唯一的任务就是利用主力智能体的弱点。
  • 盲区:一个只和自己交过手的智能体,面对陌生的风格可能很脆弱。2023 年,业余棋手用一种由对抗性 AI 找到的非常规策略击败了一个顶级围棋程序。
  • 需要明确的得分:它只在有模拟器、胜负毫无歧义的地方有效。现实世界的大多数任务两者都不具备。

自我对弈与 LLM

把这个思路用到语言上,是一个活跃的研究方向。例子包括:模型在裁判面前相互辩论,用于自动化红队测试的攻击方模型和防守方模型,谈判和社交推理游戏,以及一个模型出题、另一个模型解题、由代码执行充当裁判的设置。障碍在于评分:文本很少有明确的获胜条件,所以这些方法在答案可以自动核验的地方效果最好,比如数学、代码和游戏。

← 所有术语
ESC