跳到主要內容
Zubnet AI › 學習 › Wiki › 自我對弈
訓練

自我對弈

別名:Self-Play、Self-Play Reinforcement Learning、自博弈
一種訓練方法,AI 透過與自己的副本對抗來提高水準,並自行生成難度不斷提升的訓練資料。

為什麼重要

自我對弈造就了 AI 領域一些最著名的成果。AlphaGo 用它超越了最初學習的人類棋譜。AlphaGo Zero(2017 年)完全拋棄了人類資料:從隨機落子開始,只知道規則,幾天之內就超過了曾擊敗世界冠軍李世乭的那個版本,戰績是 100 比 0。AlphaZero 用同樣的方法掌握了西洋棋和將棋。

這是 AI 系統可以超越人類知識而不只是模仿它的最清楚的證明。這在今天之所以重要,是因為語言模型主要從人類寫的文字中學習,而研究者正在尋找突破這層天花板的辦法。

深度解析

想把一種遊戲玩好,你需要水準相當的對手。新手被特級大師碾壓學不到任何東西,特級大師打敗新手也學不到任何東西。自我對弈給了 AI 一個完美的陪練:它自己。代理與自己的當前版本或早期版本對局,從勝負中學習,成為一個稍強一點的棋手,這又讓它成了一個稍難對付一點的對手。

因為對手與學習者同步進步,難度會自動上升,訓練對局的數量只受算力限制。

簡史

  • 1959 年:Arthur Samuel 在 IBM 編寫的西洋跳棋程式透過與自己對弈而進步。
  • 1992 年:TD-Gammon 透過自我對弈達到了西洋雙陸棋的專家水準,還發現了後來被人類棋手採納的策略。
  • 2016–2017 年:AlphaGo、AlphaGo Zero 和 AlphaZero。
  • 2019 年:OpenAI Five 在相當於數萬年的自我對弈之後擊敗了 Dota 2 世界冠軍。DeepMind 的 AlphaStar 在《星海爭霸 II》中達到宗師級水準,撲克 AI Pluribus 在六人無限注德州撲克中擊敗了職業選手。

為什麼有效

自我對弈會自動形成一套課程:任務變難的速度恰好與學習者的承受能力同步。它也不需要標註資料,只需要一套規則和一種判定誰贏的辦法。

會在哪裡出問題

  • 原地打轉:代理可能學會用策略 B 打敗 A,再用 C 打敗 B,然後又回到 A,就像剪刀石頭布,並沒有真正進步。解決辦法是與一批歷史版本對局。AlphaStar 使用了一整個由代理組成的「聯盟」,其中一些代理唯一的任務就是利用主力代理的弱點。
  • 盲區:一個只和自己交過手的代理,面對陌生的風格可能很脆弱。2023 年,業餘棋手用一種由對抗性 AI 找到的非常規策略擊敗了一個頂級圍棋程式。
  • 需要明確的得分:它只在有模擬器、勝負毫無歧義的地方有效。現實世界的大多數任務兩者都不具備。

自我對弈與 LLM

把這個思路用到語言上,是一個活躍的研究方向。例子包括:模型在裁判面前相互辯論,用於自動化紅隊測試的攻擊方模型和防守方模型,談判和社交推理遊戲,以及一個模型出題、另一個模型解題、由程式碼執行充當裁判的設定。障礙在於評分:文字很少有明確的獲勝條件,所以這些方法在答案可以自動驗證的地方效果最好,比如數學、程式碼和遊戲。

← 所有術語
ESC