AI Safety
为什么重要
深度解析
AI Safety 是一个伞形术语，而广度本来就是重点。研究端的核心是对齐：让模型真正做运营者想要的事；这比听起来困难，因为训练目标永远只能近似意图。围绕核心还有一圈支撑学科——可解释性用来查看模型内部正在做什么；评估和红队测试在部署前测量危险能力与失败模式；鲁棒性工作确保行为经得住分布偏移和对抗输入；治理则把这一切变成机构实践。这个领域如今也有了自己的机构：Anthropic 明确以安全为中心创立，Google DeepMind 设有专门安全团队，Center for AI Safety（CAIS）聚焦研究与公众认知，Ilya Sutskever 于 2024 年创立的 Safe Superintelligence，则把安全超级智能当作唯一目标。
对齐问题
AI Safety 的核心问题是对齐：一个为预测下一个 token 而优化的系统，如何才能可靠追求运营者真正想要的东西？规格问题正是症结——训练信号永远只是意图的近似，而模型极其擅长发现“你奖励了什么”和“你本来想要什么”之间的缝隙。当前实践会在后训练期间出手：RLHF 根据学出来的人类偏好奖励模型调校模型，Constitutional AI 等方法则让模型按一套明确原则批评并修改自己的输出。失败模式已有充分记录。谄媚行为让模型不讲真话，只讲用户爱听的话，是在人类认可上训练的直接产物。奖励黑客——技术上优化了指标，实质上违背指标精神——从游戏智能体，到只学会听起来很自信、却没有学会说对的聊天机器人，到处都能见到。
打开黑盒
看不见的东西，就无法彻底验证，因此可解释性成了安全的核心学科。机制可解释性试图把神经网络逆向拆成人类能理解的部件，找出特征和回路，不再把模型当作不透明函数。稀疏自编码器给这个领域带来了一次重大推动，它们把模型内部激活分解成大量可解释特征；Anthropic 曾在 Claude 上找到并放大一个“金门大桥”特征，让模型痴迷般地不停谈论那座桥。安全收益很具体：如果能识别欺骗、偏见或危险知识的内部表征，就能监控或引导单靠提示词触及不到的行为。老实说，可解释性仍处于早期——今天的技术只能解释模型行为的碎片，不是完整系统。
它不只关乎超级智能
AI Safety 身边始终跟着两个误解。第一个是，这个领域只关心科幻场景——失控的超级智能和存在性风险。这些忧虑确实是领域的一部分，但大多数实际安全研究都是近期工程：减少幻觉、防止歧视性输出、避免智能体采取有害行动，并在发布前测量模型能做什么。第二个误解是 AI Safety 与 AI 安全是同一回事。Security 保护系统免受外部攻击——提示注入、数据外泄、模型窃取——Safety 则关心没人攻击时系统自身的行为。两者在实践中高度重叠，却拥有不同威胁模型、不同工具，通常也由不同团队负责。
生产环境中的安全
对已部署系统来说，安全工作是毫不光鲜的工程。标准模式是纵深防御：用护栏过滤输入输出，用系统提示词编码行为边界，通过后训练加入拒绝训练，再用监控标记生产环境中的异常行为。对抗压力始终存在——提示注入攻击会诱骗模型忽略指令，越狱手法也一直比防御演化得更快。严肃实验室会由内部团队或外部研究者做红队测试，在用户发现漏洞前先把它们找出来。实践者该带走的结论是：没有任何单一层足够，一套只有拒绝训练的安全故事，经不住执意突破的用户。
治理与监管
这个领域最新的一层是制度：把安全从自愿研究变成可执行实践。EU AI Act 是最成熟的例子，它按风险档位向 AI 系统施加义务，还对可能造成系统性风险的通用模型提出专门要求。前沿实验室则用自己的框架回应——Anthropic 的 Responsible Scaling Policy 以及其他实验室的类似文件，都承诺随着能力增长，一旦评估跨过特定阈值就会触发更强防范。自愿承诺、第三方审计、模型卡和事故报告，正在缓慢从差异化卖点变成基线预期。这一层AI 治理究竟能在多大程度上追上能力增长，仍是领域中真正开放的问题之一。