OpenAI打造了一款AI，它的全部工作就是攻击OpenAI自家的模型，而事实证明它擅长得令人不安。这个名为GPT-Red的系统是一个自动化的红队测试工具，专门搜寻提示注入(prompt injection)漏洞。在该公司自己的评估中，它在此前从未见过的攻击场景中成功率高达84%，而人类红队测试人员在相同任务上的成功率仅为13%。OpenAI利用GPT-Red所揭示的问题来加固自己的GPT-5.6模型，而颇具深意的是，它决定根本不发布这个攻击方。

它的构建方式是这个故事的重要一环。GPT-Red通过自我对弈强化学习进行训练，在这种机制下，同一系统的两方相互竞争、彼此促进。攻击方模型不断生成越来越巧妙的提示注入攻击，这种手法是诱使模型去执行埋藏在其所处理内容中的指令，而非用户真正的请求；与此同时，防御方模型则学习将这些攻击一一化解。一轮又一轮下来，双方都变得更强，攻击方最终探到了人类测试者可能永远想不到去尝试的模型行为角落。

结果才是关键所在。在获得自行探索的空间后，GPT-Red发现了一类被OpenAI称为“fake chain of thought”(伪造思维链)的攻击，即插入模型会当作已经过验证从而加以信任的虚假推理步骤。将这些发现反馈到训练中带来了可衡量的成效：那些在旧版GPT-5上成功率超过90%的攻击，如今针对GPT-5.6的成功率已不到23%。说白了，这个AI攻击方让已发布的模型明显更难被劫持。

最引人注目的是关于不拿它做什么的决定。OpenAI表示，GPT-Red不是一款产品，也不会发布，而且它与人们实际使用的模型相隔离，因此它所培养出的攻击能力无法流入外界。这坦率地承认了：一款如此擅长攻破AI的工具，一旦落入不当之手便十分危险；它也清晰地揭示了处于AI安全核心的双重用途困境：能修补系统的那份本领，反过来也能被用来将其撬开。

它的意义超出了单一模型。提示注入是该领域最棘手的未解难题之一，因为那些会阅读你的邮件、浏览网页或运行代码的智能体，可能被隐藏在其所接触内容中的指令劫持，而靠人工去防御这类攻击，是一场人类屡屡落败的赛跑。GPT-Red昭示了事态的走向：让AI比任何人类团队都更快地找出AI的缺陷，再把这些经验融入更强的防御之中。这是一个令人鼓舞的迹象，表明这场军备竞赛可以从防御一方全力推进。它同时也提醒人们：能力最强的安全工具与能力最强的攻击工具正日益合而为一，而这恰恰是这款工具被严加封存的原因。