मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Process Reward Model
प्रशिक्षण

Process Reward Model

इसे भी कहा जाता है: PRM, Step-Level Verifier
एक model जो सिर्फ़ अंतिम जवाब की जगह reasoning chain के हर बीच के कदम को score देता है, ताकि अच्छी reasoning को चलते-चलते दिशा और reward दिया जा सके।

यह क्यों मायने रखता है

कदम के स्तर का feedback सिर्फ़ outcome वाले rewards की दो कमज़ोरियाँ दूर करता है। पहली, यह कहीं ज़्यादा जानकारी देता है: हर problem पर एक signal की जगह हर कदम पर एक signal। दूसरी, यह सही कारणों से सही होने को reward देता है। Outcome model ऐसे हल को भी reward दे सकता है जो गलत तर्क से सही जवाब तक पहुँचा हो, जबकि PRM उस गलती को पकड़ लेता है।

PRMs test-time compute के लिए भी एक अहम tool हैं। अगर आप अधूरे हलों को score दे सकते हैं, तो आप search कर सकते हैं: reasoning की कई दिशाएँ आज़माइए, कमज़ोर दिशाओं को जल्दी छोड़ दीजिए और मेहनत उन पर लगाइए जो उम्मीद जगाती हैं।

गहन अध्ययन

किसी छात्र के गणित के हल को जाँचने के दो तरीके हैं। आप सिर्फ़ अंतिम जवाब देख सकते हैं, या पूरा काम पंक्ति-दर-पंक्ति पढ़कर उस पहले कदम पर निशान लगा सकते हैं जहाँ गलती होती है। Outcome reward model (ORM) पहला काम करता है: वह पूरा हल देखता है और अनुमान लगाता है कि नतीजा सही है या नहीं। Process reward model (PRM) दूसरा काम करता है: वह हर कदम को उसका अपना score देता है।

इस विचार को OpenAI के 2023 के paper "Let's Verify Step by Step" ने लोकप्रिय बनाया। इसमें हल के अलग-अलग कदमों पर करीब 8 लाख इंसानी labels से एक PRM train किया गया और दिखाया गया कि वह outcome पर आधारित grader की तुलना में गणित के सही हल ज़्यादा भरोसे के साथ चुनता है।

Inference के समय PRM का इस्तेमाल

  • Best-of-N reranking: कई पूरे हल generate कीजिए, हर एक के कदमों को score दीजिए और सबसे अच्छे कुल score वाला हल लौटाइए।
  • Step-level beam search: अगले कदम के कई candidates generate कीजिए, PRM के हिसाब से सबसे अच्छे कुछ रखिए और वहीं से आगे बढ़िए।
  • Tree search: PRM के scores से reasoning के संभावित रास्तों पर search को दिशा दीजिए, कुछ वैसे ही जैसे AlphaGo का value network करता है।

Experiments में दिखा है कि अच्छे PRM और काफ़ी search के साथ एक छोटा model गणित के benchmarks पर उस कहीं बड़े model की बराबरी कर सकता है जो एक ही बार में जवाब देता है।

Training के लिए PRM का इस्तेमाल

PRM reinforcement learning के लिए dense rewards दे सकता है, या synthetic reasoning traces को छान सकता है ताकि सिर्फ़ ठोस traces ही training data के रूप में इस्तेमाल हों।

Labels कहाँ से आते हैं

कदमों पर इंसानी labels महँगे होते हैं, क्योंकि इनके लिए experts को reasoning पंक्ति-दर-पंक्ति पढ़नी पड़ती है। Automated विकल्प किसी कदम की quality का अंदाज़ा rollouts से लगाते हैं: उस कदम से हल को कई बार आगे बढ़ाइए और देखिए कि अंतिम जवाब कितनी बार सही निकलता है। दूसरा रास्ता यह है कि कोई मज़बूत LLM हर कदम का judge बने।

सीमाएँ

  • कदम किसे माना जाए? गणित के हल साफ़-साफ़ कदमों में बँट जाते हैं। आम reasoning और agent tasks नहीं बँटते।
  • कदम को परखना मुश्किल है। कोई कदम अकेले में ठीक लग सकता है और फिर भी कहीं नहीं पहुँचाता।
  • Reward hacking। सीखे हुए PRM के खिलाफ़ train की गई policy ऐसे कदम बनाना सीख सकती है जो PRM को पसंद हों, न कि ऐसे जो सही हों।
  • Domain की संकीर्णता। गणित पर train किया गया PRM code या विज्ञान पर अच्छी तरह transfer नहीं होता।

इन्हीं कारणों से सबसे जाने-माने reasoning models ज़्यादातर ऐसे outcome rewards पर टिके रहे हैं जिन्हें अपने-आप जाँचा जा सकता है (जवाब मिलता है, tests pass होते हैं), और वह भी बहुत बड़े पैमाने पर। उदाहरण के लिए, DeepSeek के R1 paper में PRMs पर साफ़ तौर पर चर्चा की गई और उन पर निर्भर न रहने का फ़ैसला किया गया। PRMs वहाँ अब भी कीमती हैं जहाँ अंतिम नतीजे की जाँच महँगी हो और जहाँ inference के समय search का फ़ायदा मिलता हो।

← सभी शब्द
ESC