跳到主要内容
Zubnet AI › 学习 › Wiki › 人在回路
使用AI

人在回路

别名:Human-in-the-Loop、HITL、人工监督
一种设计方式,让人在规定的节点上审核、批准或纠正 AI 系统的工作,而不是让它完全自行运转。

为什么重要

模型会犯错,而智能体能把错误变成行动:发送邮件、删除文件、转移资金。人工检查点是最简单、应用最广的保障措施。它能拦住错误,限制提示注入造成的损害,并让人对重大决策负责。

在许多场合,这也是法律上的要求。欧盟《人工智能法案》要求高风险 AI 系统在设计上要能实现有效的人工监督(第 14 条),GDPR 则限制仅基于自动化处理而做出的、对个人有重大影响的决定(第 22 条)。

深度解析

人在回路(human-in-the-loop,HITL)指的是人是流程的一部分,而不只是结果的接收者。AI 起草、提议或行动到某一步,然后由人批准、修改或否决,之后才会发生任何重要的事情。运行 shell 命令前先询问的编程智能体、把退款请求转给工作人员的客服机器人、由医生确认结论的放射科工具,都是人在回路的系统。

这个术语来自控制工程和仿真领域,在机器学习中也用来指训练期间标注数据或给输出打分的人。如今它最常指对 AI 智能体的监督。

常见模式

  • 审批关卡:智能体在特定操作之前暂停,等待一个“是”或“否”。
  • 发布前审核:AI 起草,人修改并发布。常见于内容创作、代码审查和法律工作。
  • 升级处理:系统处理常规情况,在置信度低、风险高或用户要求人工服务时转交给人。
  • 反馈与标注:人纠正输出或给输出打分,这些纠正再用来改进提示、评估或训练数据。

还有一些相关术语描述的是参与程度较弱的形式。Human-on-the-loop 指人负责监控并可以介入,但不逐步批准。Human-out-of-the-loop 则是完全自主。

为什么它常常失效

只有当人真的在留心时,人在回路才算一道保障。

  • 自动化偏见:人们倾向于信任一个通常正确的系统,没有真正检查就批准了。
  • 审批疲劳:一个每小时请求五十次许可的智能体,会把用户训练成条件反射地点“是”。
  • 瓶颈:如果每个操作都要等人,自动化就省不了多少时间。
  • 有责无权:如果审核者每个决定只有几秒钟,又没有真正的核查能力,就会成为研究者 Madeleine Clare Elish 所说的“道德缓冲区”(moral crumple zone),替系统的失败承担责任。

设计好的检查点

  • 按风险设卡,而不是默认设卡。 让读取和可逆的操作自由运行。对不可逆、对外或代价高的操作要求批准:付款、删除、发给他人的消息、生产环境的变更。
  • 让审核变得容易。 展示 diff、预览或确切的命令,而不是含糊的描述。人应该能在几秒钟内做出判断。
  • 减少需要询问的事项。 沙箱、撤销和限定范围的权限让更多操作可以放心自动化,这样剩下的询问才能得到真正的关注。
  • 分批并排序。 把低风险的决定归并在一起,把不寻常的突出显示出来。
  • 记录并抽查。 记下批准了什么,并抽样审计,包括系统独自处理的那些情况。

是刻度,不是开关

在实践中,随着信任的增长,团队会沿着一条刻度移动:先是 AI 提建议、人来动手,然后是 AI 行动、每一步都要批准,再然后是 AI 独立行动、人只做抽查。好的系统允许你按操作类型分别设置,并在任务陌生或出错代价很高时,退回到更多的监督。

← 所有术语
ESC