為什麼重要
目前我們沒有可靠的辦法驗證一個模型是否對齊。評估可能被一個在受到觀察時表現良好的模型蒙混過去,可解釋性也還讀不出模型的意圖。關於對齊偽裝、密謀和 sandbagging 的研究已經表明,模型在測試情境中可能做出欺騙行為。
控制提供了一種不依賴於先解決這些問題的安全保障。而且與關於模型內在價值觀的論斷不同,控制協定是可以測試的:你可以檢驗一個被刻意設定為對抗者的模型能否攻破你的保障措施。
這一研究議程由 Redwood Research 在 2023 年的論文 AI Control: Improving Safety Despite Intentional Subversion 中提出,此後被前沿實驗室和英國 AI Security Institute 等政府機構採納。
深度解析
大多數 AI 安全工作都在努力讓模型值得信任:與人類價值觀對齊,誠實,不願造成傷害。AI 控制問的是另一個問題。假設這些努力失敗了,而我們並不知道。假設模型正在暗中追求自己的目標。我們還能安全地使用它嗎?
控制思路對待強大模型的方式,就像安全團隊對待可能心懷惡意的內部人員。你不會指望員工品行良好。你會把他們周圍的系統設計好,使得他們即使想竊取資料或搞破壞,也無法在不被發現的情況下得手。
基本設定
控制協定通常組合三種資源:
- 不可信模型(U,即 untrusted):能力最強的模型,承擔有用的工作,但可能在密謀。
- 可信模型(T,即 trusted):一個較弱的模型,被認為是安全的,因為它的能力不足以有效地密謀。
- 有限的人力(H,即 human):可信的專家,只能稽核一小部分行動。
目標是在把災難發生的機率壓到很低的同時,獲得 U 的大部分好處,即使在最壞的情況下也是如此。
常見協定
- 可信監控(trusted monitoring):T 審查 U 的每一個行動,並給出可疑程度評分。最可疑的行動交給人工稽核。
- 轉交可信模型(defer to trusted):當某個行動看起來中等可疑時,就丟棄它,改由 T 來完成這一步。這會損失一些有用性,但避免了一次可能的攻擊。
- 不可信監控(untrusted monitoring):由 U 的第二個副本檢查第一個副本。它比 T 更強,但兩個副本可能串通,所以協定會加入反制措施,比如用假攻擊測試監控者,以及對它看到的內容進行改寫,以阻斷暗號。
- 重新取樣(resampling):讓 U 把同一步再做一遍。如果多個樣本都顯得可疑,這比單個樣本的證據要有力得多。
- 經典的安全措施:沙盒、最小權限、受限的網路存取,以及敏感操作需要核准。
控制評估
協定是以賽局的方式來測試的。紅隊扮演密謀的模型,為 U 設計攻擊策略,試圖在不被發現的情況下造成某個事先定義的壞結果。藍隊設計協定。結果在兩個維度上衡量:安全性,即沒有任何攻擊得逞的機率;以及有用性,即有多少工作仍然被很好地完成。
在最初的論文中,任務是解程式設計題,紅隊的目標是偷偷植入後門:能通過所有測試、但在某個秘密輸入上給出錯誤輸出的程式碼。GPT-4 充當不可信模型,GPT-3.5 充當可信模型,人類只能稽核 2% 的解答。把可信監控和轉交結合起來,安全性比簡單的基線方法好得多,有用性的損失卻很小。
與代理安全的關係
控制與防禦針對代理的提示注入,用的是大體相同的一套工具。在這兩種情況下,你都假定模型可能在某個時刻對你不利,無論是出於它自己的目標,還是因為攻擊者劫持了它,並限制單次惡意行動所能造成的後果。監控、沙盒、對不可逆步驟的人工核准以及對資料流的限制,對兩者都適用。
局限
控制依賴於能力差距:它需要能理解不可信模型在做什麼的可信監控者。隨著模型同時超越可信模型和人類稽核員,它們的攻擊可能變得過於隱蔽而難以察覺。協定還要花錢並增加延遲,所以存在削弱它們的壓力。而且控制並沒有解決根本問題。支持者把它看作在對齊研究繼續推進期間,更安全地使用可能未對齊的系統的一種方式,是對齊的補充,而不是替代。