一種攻擊手段:把惡意樣本混入模型的訓練資料,以植入隱藏行為或降低模型效能。
為什麼重要
LLM 是用從公開網路抓取的海量文字訓練的,而任何人都可以往網路上發布內容。這意味著原則上任何人都可以嘗試影響未來模型學到的東西。研究表明,這比過去以為的更現實:
- 2023 年的一項研究表明,攻擊者只需花大約 60 美元,買下資料集仍然指向的過期網域名稱,就能給流行的網路規模影像資料集投毒。
- Anthropic、英國 AI 安全研究所和艾倫·圖靈研究所 2025 年的一項研究發現,只需 250 篇被投毒的文件,就能在 6 億到 130 億參數的模型裡植入後門。所需的數量隨著模型和資料集變大而大致保持不變,並不隨資料集規模增長。
微調資料、RAG 知識庫和共享的開放模型也是目標,所以開發者同樣面臨這種風險,而不只是大實驗室。
深度解析
模型有多可信,取決於它學習的資料有多可信。資料投毒利用的正是這一點:攻擊者把精心構造的樣本加進訓練資料,讓訓練好的模型按攻擊者想要的方式行事。有時目的是讓模型整體變差。更多時候是植入後門:模型平時表現正常,直到看見某個特定的觸發條件,比如一個罕見的詞句,然後去做別的事,比如生成有害內容、洩露資料或寫出不安全的程式碼。
因為觸發條件是保密的,帶後門的模型可以完美通過普通的測試。
投毒的類型
- 後門:觸發條件引發特定行為。Anthropic 2024 年的「Sleeper Agents」(潛伏特工)研究表明,後門行為可以在標準的安全訓練之後依然存在。
- 定向投毒:讓模型在某一件具體的事情上出錯,比如某個品牌、某個人或某段程式碼。
- 可用性攻擊:全面降低模型的品質。
- 藝術家發起的投毒:Nightshade 等工具對影像做細微改動,讓未經授權用它們訓練的影像模型學到錯誤的關聯。這是把投毒用作一種抗議或保護手段。
不止於預訓練
- 微調資料集:共享資料集裡少量的壞樣本就能教會模型有害的習慣。
- RAG 投毒:在知識庫或網路上埋下檢索系統會取回的文件。它與間接提示注入密切相關。
- 模型供應鏈:下載來的模型或適配器可能已經帶有後門。使用可信的來源和 safetensors 這類安全的格式。
防禦手段
- 資料溯源:弄清訓練資料從哪裡來,優先使用經過整理的可信來源。
- 過濾和去重:訓練前去掉低品質、重複或異常的內容。
- 針對觸發條件的評估:用不尋常的輸入對模型做紅隊測試;專門的偵測方法會尋找後門的特徵訊號。
- 對 RAG:控制誰可以寫入知識庫,並把檢索到的內容當作不可信的輸入。
- 對微調:審查資料集,尤其是社群貢獻的資料集,並在部署前用你的安全檢查測試微調後的模型。