मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Self-Play
प्रशिक्षण

Self-Play

इसे भी कहा जाता है: Self-Play Reinforcement Learning
Training का एक तरीका जिसमें AI अपनी ही copies से मुकाबला करके बेहतर होता है और अपना लगातार कठिन होता training data खुद बनाता है।

यह क्यों मायने रखता है

Self-play ने AI के कुछ सबसे मशहूर नतीजे दिए। AlphaGo ने इसका इस्तेमाल उन इंसानी games से आगे जाने के लिए किया जिनसे उसने शुरुआत की थी। AlphaGo Zero (2017) ने इंसानी data पूरी तरह छोड़ दिया: random खेल से शुरू करके और सिर्फ़ नियम जानते हुए, उसने कुछ ही दिनों में उस version को पीछे छोड़ दिया जिसने world champion Lee Sedol को हराया था, और 100 में से 100 games जीते। AlphaZero ने इसी recipe से chess और shogi में महारत हासिल की।

यह इस बात का सबसे साफ़ प्रदर्शन है कि AI system इंसानी ज्ञान की नकल करने की जगह उससे आगे निकल सकता है। आज यह इसलिए मायने रखता है क्योंकि language models ज़्यादातर इंसानों के लिखे text से सीखते हैं, और researchers उस सीमा से आगे बढ़ने के रास्ते ढूँढ रहे हैं।

गहन अध्ययन

किसी game में अच्छा बनने के लिए आपको अपने स्तर के विरोधी चाहिए। नौसिखिया grandmaster से बुरी तरह हारकर कुछ नहीं सीखता, और grandmaster नौसिखिए को हराकर कुछ नहीं सीखता। Self-play AI को एकदम सही training partner देता है: वह खुद। Agent अपने मौजूदा version या पुराने versions के खिलाफ़ खेलता है, जीत और हार से सीखता है, और थोड़ा बेहतर खिलाड़ी बन जाता है, जिससे वह थोड़ा कठिन विरोधी भी बन जाता है।

चूँकि विरोधी सीखने वाले के साथ कदम मिलाकर बेहतर होता है, कठिनाई अपने-आप बढ़ती है, और training games की आपूर्ति सिर्फ़ compute से सीमित होती है।

एक छोटा इतिहास

  • 1959: IBM में Arthur Samuel का checkers program खुद से खेलकर बेहतर होता है।
  • 1992: TD-Gammon self-play के ज़रिए expert स्तर का backgammon खेलने लगता है और ऐसी रणनीतियाँ खोजता है जिन्हें बाद में इंसानी खिलाड़ियों ने अपनाया।
  • 2016–2017: AlphaGo, AlphaGo Zero और AlphaZero।
  • 2019: OpenAI Five दसियों हज़ार वर्षों के बराबर self-play के बाद Dota 2 के world champions को हराता है। DeepMind का AlphaStar StarCraft II में grandmaster स्तर तक पहुँचता है, और poker AI Pluribus छह खिलाड़ियों वाले no-limit Texas hold'em में professionals को हराता है।

यह क्यों काम करता है

Self-play एक automatic curriculum बनाता है: tasks ठीक उतनी ही तेज़ी से कठिन होते हैं जितना सीखने वाला संभाल सके। इसे labeled data की भी ज़रूरत नहीं, सिर्फ़ नियमों का एक set और यह बताने का तरीका चाहिए कि कौन जीता।

यह कहाँ गड़बड़ाता है

  • अपनी ही पूँछ का पीछा: agent A को हराने के लिए रणनीति B सीख सकता है, फिर B को हराने के लिए C, और फिर वापस A पर लौट सकता है, rock-paper-scissors की तरह, बिना सच में बेहतर हुए। इलाज यह है कि पुराने versions के एक pool के खिलाफ़ खेला जाए। AlphaStar ने agents की एक पूरी "league" इस्तेमाल की, जिसमें कुछ ऐसे भी थे जिनका अकेला काम मुख्य agents की कमज़ोरियों का फ़ायदा उठाना था।
  • Blind spots: जिस agent ने सिर्फ़ खुद का ही सामना किया है, वह अनजान शैलियों के सामने नाज़ुक हो सकता है। 2023 में शौकिया खिलाड़ियों ने एक adversarial AI की खोजी हुई अनोखी रणनीति से एक शीर्ष Go program को हरा दिया।
  • साफ़ score चाहिए: यह वहाँ काम करता है जहाँ simulator और साफ़ विजेता हो। असली दुनिया के ज़्यादातर tasks में दोनों नहीं होते।

Self-Play और LLMs

इस विचार को भाषा पर लागू करना research का एक सक्रिय क्षेत्र है। उदाहरणों में ऐसे models शामिल हैं जो एक judge के सामने आपस में बहस करते हैं, automated red teaming के लिए attacker और defender models, negotiation और social deduction games, और ऐसे setups जहाँ एक model problems सुझाता है जिन्हें दूसरे को हल करना होता है, और code execution referee होता है। रुकावट scoring है: text में जीत की साफ़ शर्त शायद ही होती है, इसलिए ये तरीके वहीं सबसे अच्छा काम करते हैं जहाँ जवाब अपने-आप जाँचे जा सकते हैं, जैसे गणित, code और games में।

← सभी शब्द
ESC