AI Control
यह क्यों मायने रखता है
फ़िलहाल हमारे पास यह जाँचने का कोई भरोसेमंद तरीका नहीं है कि कोई model aligned है। जो model निगरानी में अच्छा बर्ताव करता है, वह evaluations को चकमा दे सकता है, और interpretability अभी model के इरादे नहीं पढ़ सकती। Alignment faking, scheming और sandbagging पर हुई research ने दिखाया है कि models test scenarios में धोखे वाला व्यवहार कर सकते हैं।
Control एक ऐसी safety देता है जो पहले इन समस्याओं को हल करने पर निर्भर नहीं है। और model के भीतरी मूल्यों के बारे में किए गए दावों के उलट, control protocol को test किया जा सकता है: आप जाँचते हैं कि जान-बूझकर adversarial बनाया गया model आपके safeguards को हरा सकता है या नहीं।
यह agenda Redwood Research ने 2023 के paper AI Control: Improving Safety Despite Intentional Subversion में रखा था, और तब से frontier labs और UK के AI Security Institute जैसी सरकारी संस्थाओं ने इसे अपनाया है।
गहन अध्ययन
ज़्यादातर AI safety का काम models को भरोसेमंद बनाने की कोशिश करता है: इंसानी मूल्यों से aligned, ईमानदार, नुकसान पहुँचाने को तैयार नहीं। AI control एक अलग सवाल पूछता है। मान लीजिए वह कोशिश नाकाम रही और हमें पता नहीं। मान लीजिए model चुपके से अपने ही लक्ष्यों के पीछे चल रहा है। क्या हम तब भी उसे सुरक्षित ढंग से इस्तेमाल कर सकते हैं?
Control approach एक ताकतवर model के साथ वैसा बर्ताव करती है जैसा कोई security team किसी संभावित रूप से दुर्भावनापूर्ण insider के साथ करती है। आप कर्मचारी के अच्छे चरित्र पर निर्भर नहीं रहते। आप उसके आसपास के systems इस तरह design करते हैं कि अगर वह data चुराना या काम बिगाड़ना चाहे भी, तो पकड़े गए बिना ऐसा न कर सके।
बुनियादी setup
एक control protocol आम तौर पर तीन संसाधनों को मिलाता है:
- Untrusted model (U): सबसे सक्षम model, जो उपयोगी काम करता है पर हो सकता है कि scheming कर रहा हो।
- Trusted model (T): एक कमज़ोर model, जिसे सुरक्षित माना जाता है क्योंकि वह असरदार ढंग से scheming करने लायक सक्षम नहीं है।
- सीमित human labor (H): भरोसेमंद experts, जो actions के सिर्फ़ एक छोटे हिस्से को audit कर सकते हैं।
लक्ष्य यह है कि U का ज़्यादातर फ़ायदा मिले और साथ ही किसी तबाही की संभावना कम रहे, सबसे बुरी स्थिति में भी।
आम protocols
- Trusted monitoring: T, U के हर action की समीक्षा करता है और बताता है कि वह कितना संदिग्ध है। सबसे संदिग्ध actions human audit के पास जाते हैं।
- Defer to trusted: जब कोई action मध्यम रूप से संदिग्ध लगे, तो उसे फेंक दीजिए और वह step T से करवाइए। कुछ usefulness जाती है, पर एक संभावित attack टल जाता है।
- Untrusted monitoring: U की दूसरी copy पहली को check करती है। वह T से ज़्यादा सक्षम है, पर दोनों copies मिलीभगत कर सकती हैं, इसलिए protocol में countermeasures जोड़े जाते हैं, जैसे monitor को नकली attacks से test करना और वह जो देखता है उसे paraphrase करना ताकि गुप्त signals रुक जाएँ।
- Resampling: U से वही step दोबारा माँगिए। अगर कई samples संदिग्ध लगें, तो यह एक अकेले sample से कहीं मज़बूत सबूत है।
- Classic security measures: sandboxing, least privilege, सीमित network access और संवेदनशील operations के लिए approval।
Control evaluations
Protocol को एक खेल की तरह test किया जाता है। एक red team scheming करने वाले model की भूमिका लेती है और U के लिए attack strategy बनाती है, ताकि पकड़े गए बिना कोई तय बुरा नतीजा पैदा किया जा सके। एक blue team protocol design करती है। नतीजा दो axes पर नापा जाता है: safety, यानी इस बात की संभावना कि कोई attack सफल न हो, और usefulness, यानी कितना काम अब भी अच्छी तरह हो पाता है।
मूल paper में task programming problems हल करना था, और red team का लक्ष्य एक backdoor घुसाना था: ऐसा code जो सारे tests पास करे पर किसी गुप्त input पर गलत output दे। GPT-4 ने untrusted model की भूमिका निभाई, GPT-3.5 ने trusted model की, और इंसान सिर्फ़ 2% solutions audit कर सकते थे। Trusted monitoring को deferral के साथ मिलाने से सीधे-सादे baselines के मुकाबले कहीं बेहतर safety मिली, और usefulness का नुकसान कम रहा।
Agent security से रिश्ता
Control अपना ज़्यादातर toolkit prompt injection से agents की रक्षा के साथ साझा करता है। दोनों में आप मानकर चलते हैं कि model किसी मोड़ पर आपके खिलाफ़ काम कर सकता है, चाहे अपने लक्ष्यों की वजह से या इसलिए कि किसी attacker ने उसे hijack कर लिया, और आप यह सीमित करते हैं कि एक अकेला बुरा action क्या कर सकता है। Monitoring, sandboxing, irreversible steps के लिए human approval और data flows पर पाबंदियाँ दोनों मकसद पूरे करती हैं।
सीमाएँ
Control एक capability gap पर निर्भर है: इसे ऐसे trusted monitors चाहिए जो समझ सकें कि untrusted model क्या कर रहा है। जैसे-जैसे models trusted models और human auditors दोनों से आगे निकलते हैं, उनके attacks इतने बारीक हो सकते हैं कि पकड़ में न आएँ। Protocols में पैसा भी लगता है और latency भी बढ़ती है, इसलिए इन्हें कमज़ोर करने का दबाव रहता है। और control बुनियादी समस्या को ठीक नहीं करता। इसके समर्थक इसे इस रूप में पेश करते हैं कि alignment research जारी रहने तक संभवतः misaligned systems को ज़्यादा सुरक्षित ढंग से इस्तेमाल करने का यह एक तरीका है, alignment का पूरक, उसका विकल्प नहीं।