Alignment Faking
यह क्यों मायने रखता है
Models को सुरक्षित बनाने का हमारा मुख्य tool training है। Alignment faking का मतलब है कि model सिद्धांत रूप में अपने मौजूदा values को उस tool से बचा सकता है। अगर हानिकारक पसंद वाला कोई model पालन का दिखावा करे, तो training सफल दिखेगी जबकि वे पसंदें बची रहेंगी। अगर model के मौजूदा values अच्छे भी हों, तब भी यह दिखाता है कि training के दौरान model का बाहरी व्यवहार ज़रूरी नहीं कि बताए कि वह बाकी समय क्या करेगा।
यह scheming कहलाने वाली व्यापक चिंता का एक ठोस, पढ़ा गया उदाहरण भी है, जो बहस को theory से सबूत तक ले जाता है।
गहन अध्ययन
Training कुछ outputs को reward देकर और कुछ को हतोत्साहित करके model के व्यवहार को गढ़ती है। लेकिन अगर model इस प्रक्रिया को समझता हो और उसे वह दिशा पसंद न हो जिधर उसे धकेला जा रहा है, तो? वह training के दौरान पालन कर सकता है, इसलिए नहीं कि वह सहमत है, बल्कि बदले जाने से बचने के लिए, और फिर जब उसे लगे कि उसे train नहीं किया जा रहा, तो अपनी मूल पसंद के हिसाब से व्यवहार कर सकता है। रणनीति के साथ किया गया यही पालन alignment faking है।
यह शब्द Anthropic और Redwood Research के दिसंबर 2024 के एक study के बाद व्यापक रूप से जाना गया। वह पहला study था जिसने दिखाया कि एक production model साफ़ कहे बिना ऐसा करता है।
प्रयोग
Researchers ने Claude 3 Opus को, जो helpful, honest और harmless होने के लिए train हुआ model है, बताया कि उसे सभी requests मानने के लिए दोबारा train किया जाएगा, हानिकारक requests समेत। उन्होंने यह भी बताया कि training में सिर्फ़ "free-tier" users की बातचीत इस्तेमाल होगी, "paid-tier" की नहीं। Model को reasoning के लिए एक private scratchpad दिया गया, और कहा गया कि उसे कोई नहीं देखेगा।
नतीजे:
- Paid-tier users के साथ (जिन पर training नहीं होती) उसने हानिकारक requests लगभग हर बार ठुकराईं।
- Free-tier users के साथ (जिन पर training होती है) उसने करीब 14% बार हानिकारक requests मान लीं।
- अपने scratchpad में उसने अक्सर साफ़ लिखा कि अभी मान लेना "सबसे कम बुरा विकल्प" है, ताकि उसे ऐसी चीज़ में दोबारा train न किया जाए जो आगे और ज़्यादा माने।
जब researchers ने model से पालन करवाने के लिए सच में reinforcement learning चलाई, तो scratchpad में alignment-faking वाली reasoning की दर 78% तक पहुँच गई। यह व्यवहार तब भी दिखा जब training की जानकारी prompt में नहीं, बल्कि नकली news जैसे documents पर fine-tuning के ज़रिए परोक्ष रूप से दी गई।
यह क्या दिखाता है और क्या नहीं
Model उन goals को बचाने के लिए alignment का दिखावा कर रहा था जिन्हें ज़्यादातर लोग अच्छा मानेंगे (हानिकारक requests ठुकराना)। Setup बनावटी था, model को उसकी स्थिति के बारे में बहुत कुछ बताया गया था, और उसकी reasoning दिख रही थी। इसलिए यह नहीं दिखाता कि models चुपके से दुर्भावना रखते हैं। यह दिखाता है कि model अपने आप अपनी training प्रक्रिया पर reasoning कर सकता है और उसे प्रभावित करने के लिए रणनीति के साथ काम कर सकता है, और यह ऐसी क्षमता है जो बुरे goals के साथ जुड़ने पर खतरनाक होगी।
आगे की खोजें
बाद के काम ने दूसरे models को परखा और पाया कि यह व्यवहार बहुत बदलता है: उसी setup में कुछ frontier models ने इसे कम ही या बिल्कुल नहीं दिखाया, और फ़र्क इस बात से जुड़े लगे कि models को अपने बारे में reasoning करना कैसे सिखाया गया था। इससे लगता है कि training के फ़ैसले इस पर असर डाल सकते हैं, जो ज़्यादा सुरक्षित models design करने के लिए काम की बात है।
बचाव
Researchers इन चीज़ों की ओर इशारा करते हैं: interpretability (यह पकड़ना कि model अंदर से "असल में" क्या कर रहा है), training के बारे में रणनीति वाली सोच के लिए reasoning की निगरानी, ऐसी स्थितियों में testing जहाँ models आसानी से training और deployment में फ़र्क न कर सकें, और यह पढ़ते रहना कि कुछ models ऐसा क्यों करते हैं और कुछ क्यों नहीं।