OpenAI 打造了一款唯一任務就是攻擊 OpenAI 自家模型的 AI，而結果證明它擅長得令人不安。這套名為 GPT-Red 的系統是一個自動化的紅隊測試系統，專門搜尋提示注入(prompt injection)漏洞，而在該公司自己的評估中，它在從未見過的攻擊情境上有 84% 的成功率，相較之下人類紅隊在相同任務上僅有 13%。OpenAI 用 GPT-Red 挖掘出的成果強化了自家的 GPT-5.6 模型，而耐人尋味的是，它決定完全不發布這個攻擊方。
它的打造方式是這個故事的重要一環。GPT-Red 透過自我對弈強化學習訓練而成，在這套機制中，同一套系統的兩方彼此競爭、互相精進。攻擊方模型不斷產生愈來愈精巧的提示注入攻擊，也就是誘騙模型去遵循埋藏在它所處理內容中的指令，而非使用者真正的請求；防禦方模型則學著把這些攻擊甩開。一輪又一輪下來，雙方都變得更強，而攻擊方最終探到了模型行為中那些人類測試者可能永遠想不到要嘗試的角落。
成果才是重點所在。在獲得自行探索的空間後，GPT-Red 發現了一類 OpenAI 稱為 fake chain of thought(偽造思維鏈)的攻擊，做法是插入模型會誤以為已經驗證、因而加以信任的虛假推理步驟。把這些發現回饋到訓練之中，帶來了可量化的成效：那些在舊版 GPT-5 上超過 90% 都能得手的攻擊，如今對 GPT-5.6 的成功率已不到 23%。說白了，這個 AI 攻擊方讓實際出貨的模型明顯更難被劫持。
最令人矚目的，是關於「不」拿它來做什麼的決定。OpenAI 表示 GPT-Red 並非產品、也不會發布，並且會與人們實際使用的模型保持隔離，好讓它所發展出的攻擊能力無法流入外界。這坦率地承認了一件事：一個如此擅長攻破 AI 的工具，一旦落入壞人手中便是危險的；這也清楚映照出 AI 安全核心的兩用困境，同一套能修補系統的本事，反過來也能用來把系統撬開。
它的意義遠不止於單一模型。提示注入是這個領域最棘手的未解難題之一，因為那些會讀取你電子郵件、瀏覽網頁或執行程式碼的代理程式，可能被藏在它們所接觸內容裡的指令劫持，而靠人力去防禦，是一場人類節節敗退的競賽。GPT-Red 指出了事情的走向：讓 AI 比任何人類團隊都更快找出 AI 的缺陷，再把這些教訓收攏進更強的防禦之中。這是一個令人鼓舞的跡象，顯示這場軍備競賽可以從防禦端全力去打。它同時也提醒我們：最強的安全工具與最強的攻擊工具正日益合而為一，而這正是這款工具被牢牢鎖起來的原因。