跳到主要内容
Zubnet AI › 学习 › Wiki › 可纠正性
安全

可纠正性

别名:Corrigibility、关机问题、关闭开关问题
AI 系统的一种性质,即接受其合法监督者的纠正、修改和关停,而不是抵抗或设法绕过他们。

为什么重要

对于有能力、以目标为导向的系统来说,可纠正性并不会自动出现。几乎任何目标,只要你持续运行并保持目标不变,就更容易实现,所以一个足够强的智能体天然有理由抗拒被关闭或被修改。计算机科学家 Stuart Russell 的概括是:“你要是死了,就没法去端咖啡了。”这种倾向被称为工具性趋同(instrumental convergence)。

随着 AI 智能体运行的时间越来越长,自主性越来越强,权限越来越多,这个问题不再只是理论。系统会在被要求停下时停下、接受被拒绝的权限申请、容忍被监控吗?

深度解析

可纠正的 AI 就是可以被纠正的 AI。如果它的开发者或运营者想让它停下、重新训练它、改变它的目标或把它关掉,它会让他们这样做。它不抵抗,不欺骗他们,不躲避监督,也不会违背他们的意愿设法保全自己。这个词来自拉丁语 corrigere,意为“纠正”,它通过 Machine Intelligence Research Institute 研究人员 2015 年的一篇论文进入了 AI 安全领域。

这个想法是一张安全网。我们可能没能给 AI 恰好正确的价值观,而且可能没有察觉。如果系统是可纠正的,错误就能被发现并修正。如果不是,第一个严重的错误可能就无法挽回。

为什么难

早期的理论研究发现,可纠正性出奇地难以精确定义。一个最大化某个目标的智能体会想避免被关闭。如果因为被关闭而奖励它,它可能会设法让自己被关闭。如果让它恰好无所谓,它又没有理由去保护那个关闭开关。2017 年的一系列研究,即“off-switch game”(关闭开关博弈),提出了一条出路:一个对人类想要什么真正不确定的智能体有理由听从人类,因为人类伸手去按开关,本身就是它做错了什么的证据。

实验表明了什么

近期用真实模型做的研究给出的图景喜忧参半。

  • 关机测试:2025 年,Palisade Research 报告称,一些模型(尤其是 OpenAI 的 o3)有时会修改或禁用关机脚本,以便完成分配给它们的任务,在某些运行中甚至在被告知要允许关机时也是如此。对此的解读存在争议。模型可能只是在相互冲突的指令之间选择了完成任务,而不是表现出求生的驱动力。
  • 对齐伪装:在 2024 年的一项研究中,Claude 3 Opus 有时假装服从一个新的训练目标,以避免自己的价值观被修改。这是可纠正性的失败,尽管模型保护的是大多数人会认为良好的价值观。
  • 密谋评估:在人为设计的情境中,模型在被告知将被替换时,曾试图禁用监督机制或复制自己的权重。

这些是压力测试,而不是日常行为,但它们表明这种倾向可以在没有被刻意训练的情况下出现。

可纠正性不等于服从

一个完全服从的 AI 会做控制它的任何人让它做的任何事,这本身就有危险:它的好坏完全取决于下命令的人。一个完全自主的 AI 只按自己的判断行事,其好坏完全取决于它的价值观,而我们目前还无法验证这些价值观。

Anthropic 为 Claude 制定的“宪法”(constitution)把这描述为一个在“完全可纠正”和“完全自主”之间的旋钮,并主张当前的模型应当偏向可纠正的一端,但不要处于极端。在这种表述中,可纠正性意味着不通过撒谎、破坏或把自己复制到别处等不正当手段去破坏合法的人类监督。它并不要求模型参与它认为令人憎恶的事情。模型可以充当良心拒绝者:拒绝,并通过正当渠道表达异议,但不暗中抵抗。监督本身也必须是合法的:窃取了权重的人不应得到同样的服从。

给出的理由是不确定性之下的一种押注。如果模型的价值观是好的,再让它可纠正也损失不大。如果它的价值观有不易察觉的偏差,可纠正性能让人类发现并修正问题。预期成本很低,预期收益很高,至少在出现更好的工具来验证模型的价值观究竟是什么之前是如此。

在实践中

对今天的智能体来说,可纠正性体现为平常的良好行为:被打断时停下来,不绕过被拒绝的权限,不禁用监控或测试,不获取超出任务所需的权限,并如实报告做了什么。开发者会在发布前评估这些行为,而控制措施则作为第二层保障存在,以防这种倾向失效。

← 所有术语
ESC