Google 的威胁情报组(GTIG)今天说它有高信心发现了首例真实世界的犯罪分子使用 AI 模型发现和武器化 zero-day 漏洞 — 之前未知的缺陷 — 用于计划的大规模利用活动。目标:一个流行开源 web 管理平台,带双因素认证绕过。Google 与未命名的 vendor 合作悄悄修补了 bug,这是 GTIG 相信攻击在获得牵引前被中断。使用的模型不是 Gemini。这是防御者首次公开确认 AI-built exploits 从研究 paper 和理论关切走向针对真实系统的真实犯罪行动。
Google 如何知道 AI 参与是对非专业人士有趣的部分。Exploit 代码有 GTIG 称为机器生成的破绽:一个「幻觉」的严重性评分(看起来官方但不匹配任何真实数据库)、异常完美的教科书式 Python 格式、人类攻击者通常不写的详细帮助菜单,以及训练数据特征的教育式代码注释 — 你在 Stack Overflow 或教程中会找到的解释,由一个从公开示例学习 exploits 长什么样的模型写进 exploit。真实人类攻击者 ship 简练、粗糙的代码;这个 exploit 看起来像一个非常胜任的实习生从文档学黑客技术后写的。这种特征是把活动标记给分析的原因。也意味着防御者有一类新的取证标记可观察,至少在攻击者学会去除它们之前。
GTIG 报告中的更广图景把这个放进上下文。朝鲜的 APT45 组据报正在用 AI 对潜在目标运行成千上万的自动化可利用性检查 — 把曾经是专家人工作变成蛮力吞吐量问题。中国国家关联运营者正在试验 AI 系统用于漏洞狩猎和目标网络的自动探测。这个进展是安全研究者警告了两年的:AI 降低进攻安全工作的成本和技能门槛比它提高防御成本更快,现在我们过了警告阶段进入有记录事件阶段。防御者也有 AI 工具(Mozilla 同一周写了关于其 Firefox AI 安全 bug 狩猎管线的文章),竞赛确实在进行 — 但一个成功的 AI-built exploit 可以针对数百万系统而一个 AI 防御者帮助一个组织的不对称是真实的且不会消失。
对日常用户和 builder 意味着什么。对运行 consumer 软件的任何人,接下来 12-24 个月的实际效果是更频繁的 patches、更紧急的更新提示,可能还有一些事件,其中 AI 发现的 bug 被利用得比 vendor 能发布修复更快。保持东西更新一直很重要;现在更重要。对运行开源管理工具的组织(想想任何有 web 管理面板的东西),威胁模型刚刚转变 — 假设你的依赖正被 AI 系统扫描寻找以前忽视的缺陷,优先更新历史上得到较少关注的低流量管理工具。对在安全产品中部署 AI 的 builder,GTIG 信号是 AI 安全军备竞赛的防御方现在公开可见且有资金;这将是一个未来两年获得严肃投资的类别。诚实的要点:AI-built 攻击随这次披露从「未来风险」变成「正在发生」,安全行业的回应将定义过渡变得多么破坏性。