Google 的威脅情報組(GTIG)今天說它有高信心發現了首例真實世界的犯罪分子使用 AI 模型發現和武器化 zero-day 漏洞 — 之前未知的缺陷 — 用於計劃的大規模利用活動。目標:一個流行開源 web 管理平台,帶雙因素認證繞過。Google 與未命名的 vendor 合作悄悄修補了 bug,這是 GTIG 相信攻擊在獲得牽引前被中斷。使用的模型不是 Gemini。這是防禦者首次公開確認 AI-built exploits 從研究 paper 和理論關切走向針對真實系統的真實犯罪行動。
Google 如何知道 AI 參與是對非專業人士有趣的部分。Exploit 程式碼有 GTIG 稱為機器生成的破綻:一個「幻覺」的嚴重性評分(看起來官方但不匹配任何真實資料庫)、異常完美的教科書式 Python 格式、人類攻擊者通常不寫的詳細幫助選單,以及訓練資料特徵的教育式程式碼註釋 — 你在 Stack Overflow 或教程中會找到的解釋,由一個從公開示例學習 exploits 長什麼樣的模型寫進 exploit。真實人類攻擊者 ship 簡練、粗糙的程式碼;這個 exploit 看起來像一個非常勝任的實習生從文件學駭客技術後寫的。這種特徵是把活動標記給分析的原因。也意味著防禦者有一類新的取證標記可觀察,至少在攻擊者學會去除它們之前。
GTIG 報告中的更廣圖景把這個放進上下文。北韓的 APT45 組據報正在用 AI 對潛在目標運行成千上萬的自動化可利用性檢查 — 把曾經是專家人工作變成蠻力吞吐量問題。中國國家關聯營運者正在試驗 AI 系統用於漏洞狩獵和目標網路的自動探測。這個進展是安全研究者警告了兩年的:AI 降低進攻安全工作的成本和技能門檻比它提高防禦成本更快,現在我們過了警告階段進入有記錄事件階段。防禦者也有 AI 工具(Mozilla 同一週寫了關於其 Firefox AI 安全 bug 狩獵管線的文章),競賽確實在進行 — 但一個成功的 AI-built exploit 可以針對數百萬系統而一個 AI 防禦者幫助一個組織的不對稱是真實的且不會消失。
對日常使用者和 builder 意味著什麼。對運行 consumer 軟體的任何人,接下來 12-24 個月的實際效果是更頻繁的 patches、更緊急的更新提示,可能還有一些事件,其中 AI 發現的 bug 被利用得比 vendor 能發布修復更快。保持東西更新一直很重要;現在更重要。對運行開源管理工具的組織(想想任何有 web 管理面板的東西),威脅模型剛剛轉變 — 假設你的依賴正被 AI 系統掃描尋找以前忽視的缺陷,優先更新歷史上得到較少關注的低流量管理工具。對在安全產品中部署 AI 的 builder,GTIG 訊號是 AI 安全軍備競賽的防禦方現在公開可見且有資金;這將是一個未來兩年獲得嚴肅投資的類別。誠實的要點:AI-built 攻擊隨這次揭露從「未來風險」變成「正在發生」,安全行業的回應將定義過渡變得多麼破壞性。