刻意構造的輸入,其中的改動往往人眼看不出來,目的是讓 AI 模型給出錯誤或有害的輸出。
為什麼重要
對抗樣本表明,模型在正常資料上的高準確率,幾乎說明不了有人主動想騙它時它會怎麼表現。凡是由 AI 做出與安全相關決策的地方,這一點都至關重要:讀取路牌的自動駕駛汽車、人臉辨識、惡意軟體偵測、內容審核和詐欺偵測。
它們並不局限於實驗室。研究者在停車標誌上貼幾張貼紙就騙過了路牌分類器,做出了一隻幾乎從任何角度都被分類為步槍的 3D 列印烏龜,還設計出能讓人在物件偵測器面前「隱身」的印刷圖案。
到了 LLM 這裡,同樣的想法以對抗性提示的形式再次出現:為攻破模型的安全訓練而最佳化出來的文字串。
深度解析
2013 年,研究者發現了神經網路一個令人不安的特點:拿一張模型分類正確的圖片,把像素改動一點點,小到人根本注意不到,就能讓模型信心十足地判斷錯誤。2014 年有個著名的例子:一張貓熊的照片,疊上一層經過精心計算的微弱雜訊,就被以 99% 的信心度分類成了長臂猿。在人看來,兩張圖片一模一樣。
這些構造出來的輸入叫做對抗樣本。它們之所以有效,是因為模型依賴著人察覺不到的模式,而攻擊者可以恰好在這些模式上使勁。
攻擊是怎麼做出來的
- 白箱攻擊:如果你有模型的權重,就可以計算輸出相對於輸入的梯度,把輸入朝著最能增大誤差的方向推一把。快速梯度符號法(FGSM)一步完成;PGD 等更強的方法則走許多小步。
- 黑箱攻擊:沒有權重時,攻擊者反覆查詢模型,或者在自己掌控的相似模型上構造樣本。對抗樣本常常會遷移:能騙過一個模型的樣本,往往也能騙過別的模型。
- 物理攻擊:專門設計的擾動,經過列印、光照變化和不同視角之後依然有效。
針對 LLM 的對抗攻擊
2023 年,研究者展示了一種自動化方法(通常稱為 GCG),它搜尋一小段看起來像亂碼的 token 後綴,把它接在有害請求後面,就能讓已對齊的模型照辦。在開放模型上找到的後綴,對一些閉源模型也有效。此後,攻擊手段從最佳化出來的 token,擴展到面向多模態模型的、藏有隱藏指令的圖片。這與越獄和提示注入有重疊,不過後兩者通常是手寫的,而不是計算出來的。
防禦手段
- 對抗訓練:把對抗樣本納入訓練,讓模型學會抵抗它們。這是最有效的通用方法,但成本高,還可能降低在乾淨輸入上的準確率。
- 可認證穩健性:用數學方式保證在一個小範圍內的任何改動都無法翻轉輸出。很強,但只對小幅改動和較小的模型實用。
- 輸入前處理和偵測:過濾或轉換輸入以破壞擾動。許多這類防禦後來都被自適應攻擊攻破了。
- 系統設計:在高風險決策中,不要讓單個模型的輸出成為唯一的防線;把它和其他檢查結合起來。
最大的教訓
沒有任何被廣泛使用的防禦能讓模型完全穩健。對抗樣本提醒我們,模型看世界的方式和人不一樣,而安全意味著要針對一個會思考的對手做測試,而不只是針對典型資料。