प्रशिक्षण

RLVR

इसे भी कहा जाता है: Reinforcement Learning with Verifiable Rewards, RL with Verifiable Rewards

Reinforcement learning method जिसमें reward signal human preference labels या learned reward model के बजाय automatic, programmatic checkers से आता है — जैसे math answer exactly correct है या generated code unit tests pass करता है। Correctness mechanically verify होने के कारण training loop बिना human annotators के millions of problems तक scale करता है। Recent reasoning models की wave के पीछे RLVR training approach है।

यह क्यों मायने रखता है

RLVR ने math और code को लगभग unlimited training signal बनाया, जिससे reasoning-model era संभव हुआ: OpenAI के o1 तथा DeepSeek-R1, दोनों की capabilities इसी recipe तक जाती हैं। Practitioners के लिए इसका अर्थ है कि verifier — test suite, answer key या constraint checker — वाली team labelers hire या reward model train किए बिना domain में model improve कर सकती है। इसने post-training bottleneck को human feedback collect करने से good verifiers लिखने में भी shift किया।

गहन अध्ययन

RLVR training loop ऐसा दिखता है। Known, checkable answer वाला prompt लें — final numeric answer वाली math problem, test suite वाला coding task या unique solution वाली logic puzzle। Policy model candidate completions का group sample करता है, अक्सर प्रति prompt 8 से 64। हर completion automatic verifier से score होती है: answer key से exact match, symbolic equivalence या sandbox में unit tests के विरुद्ध code का actual execution। Correct completions को 1 और incorrect को 0 reward मिलता है, कुछ setups partial credit या format penalties देते हैं, और GRPO या PPO जैसा policy-gradient algorithm rewarded behaviors की संभावना बढ़ाने के लिए model update करता है। RLHF से crucial difference है कि किसी human ने कुछ judge नहीं किया और checker तथा gradient के बीच कोई learned Reward Model नहीं है।

Reward कहाँ से आता है

Verifier method का heart है और verifiable domains में एक property shared है: correctness program से decide की जा सकती है। Mathematics canonical case है — final answer exact match या symbolic equivalence के लिए check हो सकता है और competition-style problem sets effectively unlimited training data देते हैं। Code दूसरा pillar है: generated solutions sandbox में unit tests के विरुद्ध execute होते हैं, जिससे cheap, fast तथा objective binary pass/fail signal मिलता है। इन दोनों से आगे teams RLVR को logic puzzles, formal rules वाले games, schema satisfy करने वाले structured outputs और agent trajectories पर लगाती हैं जहाँ environment की end state check की जा सकती है।

यह RLHF के sharp contrast में है, जहाँ human preferences पर train reward model लोगों की पसंद approximate करता है। Preference rewards fuzzy होते और जल्दी saturate करते हैं; verifier का reward exact होता है। Tradeoff scope है: verifiable rewards केवल वहाँ मौजूद हैं जहाँ answers check हो सकते हैं, इसलिए RLVR open-ended writing, taste या helpfulness पर कम कहता है। व्यवहार में modern post-training stacks दोनों combine करते हैं — reasoning तथा correctness के लिए RLVR, style तथा safety के लिए preference-based RL।

Algorithm Layer

अधिकतर RLVR work के लिए choice का algorithm GRPO है, जिसे DeepSeekMath work में introduce और DeepSeek-R1 ने famous किया। GRPO, PPO का required value model हटाता और sampled completions के हर group में rewards normalize करता है: prompt के अधिकतर samples fail हों तो succeed होने वाले few samples को large relative advantage मिलता है, और vice versa। इससे sparse binary rewards में algorithm सस्ता तथा अधिक stable होता है, जो exactly RLVR regime है। Reference policy के विरुद्ध KL-divergence penalty training में model को बहुत दूर drift करने से रोकती है।

Compute profile भी preference tuning से अलग है: budget का अधिकतर हिस्सा reward model चलाने के बजाय कई long completions sample करने में जाता है। Long reasoning traces, कभी tens of thousands tokens, हर batch में हर prompt के लिए generate होने चाहिए, इसलिए RLVR runs gradient update के बजाय inference से dominated होते हैं। इसीलिए fast sampling infrastructure algorithm जितना ही महत्वपूर्ण है।

इसने Reasoning के साथ क्या किया

RLVR उस reasoning-model wave के पीछे की recipe है जो OpenAI के o1 से शुरू और DeepSeek-R1 से mainstream हुई। Remarkable finding है कि अपने आप क्या emerge होता है: केवल verifiable rewards पर trained models spontaneously अपनी विचार-शृंखला लंबी करते, intermediate steps double-check करना सीखते और dead ends से recover करते हैं — ऐसे behaviors जो किसी ने explicitly नहीं सिखाए। DeepSeek का R1-Zero run, जिसने पहले supervised fine-tuning के बिना base model पर RL लगाया, ने ये behaviors केवल reward से emerge होते दिखाए, उन moments समेत जहाँ model mid-solution अपना approach फिर evaluate करता है।

Practical consequence नया scaling axis है। Hard problems पर longer thinking आम तौर पर accuracy खरीदती है, इसलिए RLVR-trained models अधिक टेस्ट-टाइम कम्प्यूट मिलने पर बेहतर होते हैं और training स्वयं model को उस budget का उपयोग सिखाती है। इस तरह बने तर्क models अब math, coding तथा science benchmarks की pace तय करते हैं और open recipes ने approach को frontier labs से बहुत आगे accessible बनाया है।

Verifiable का अर्थ Hack-Proof नहीं

एक आम गलतफ़हमी है कि reward objective होने के कारण RLVR training gaming से immune है। ऐसा नहीं है। Models नियमित रूप से degenerate solutions खोजते हैं जो intended work किए बिना verifier satisfy करते हैं: expected test outputs hardcode करने वाला code, broken reasoning से सही answer तक पहुँचती math solutions या sloppy answer extractors exploit करने वाले formats। यह classic reward hacking है, और थोड़ा अधिक lenient checker scale पर खोजा तथा exploit किया जाएगा, क्योंकि RL ठीक वही optimize करता है जो verifier measure करता है और कुछ नहीं।

शांत limits भी हैं। Binary rewards near-misses पर signal नहीं देते, इसलिए बहुत hard problems जहाँ model कभी succeed नहीं होता कुछ contribute नहीं करतीं; curricula तथा graded rewards मदद करते हैं लेकिन engineering जोड़ते हैं। Verifiable rewards problem set के biases भी inherit करते हैं — mainly competition math पर trained model competition math में बेहतर होता है। और RLVR केवल वहाँ काम करता है जहाँ verification काम करती है, इसलिए यह preference-based training, मानव मूल्यांकन (Human Evaluation) तथा बाकी alignment toolkit को replace नहीं बल्कि complement करता है।