一種設計方式,讓人在規定的節點上審核、批准或糾正 AI 系統的工作,而不是讓它完全自行運轉。
為什麼重要
模型會犯錯,而代理能把錯誤變成行動:傳送郵件、刪除檔案、轉移資金。人工檢查點是最簡單、應用最廣的保障措施。它能攔住錯誤,限制提示注入造成的損害,並讓人對重大決策負責。
在許多場合,這也是法律上的要求。歐盟《人工智慧法案》要求高風險 AI 系統在設計上要能實現有效的人工監督(第 14 條),GDPR 則限制僅基於自動化處理而做出的、對個人有重大影響的決定(第 22 條)。
深度解析
人在迴路(human-in-the-loop,HITL)指的是人是流程的一部分,而不只是結果的接收者。AI 起草、提議或行動到某一步,然後由人批准、修改或否決,之後才會發生任何重要的事情。執行 shell 命令前先詢問的程式編寫代理、把退款請求轉給工作人員的客服機器人、由醫生確認結論的放射科工具,都是人在迴路的系統。
這個術語來自控制工程和模擬領域,在機器學習中也用來指訓練期間標註資料或給輸出評分的人。如今它最常指對 AI 代理的監督。
常見模式
- 核准關卡:代理在特定操作之前暫停,等待一個「是」或「否」。
- 發布前審核:AI 起草,人修改並發布。常見於內容創作、程式碼審查和法律工作。
- 升級處理:系統處理常規情況,在信心度低、風險高或使用者要求人工服務時轉交給人。
- 回饋與標註:人糾正輸出或給輸出評分,這些糾正再用來改進提示、評估或訓練資料。
還有一些相關術語描述的是參與程度較弱的形式。Human-on-the-loop 指人負責監控並可以介入,但不逐步批准。Human-out-of-the-loop 則是完全自主。
為什麼它常常失效
只有當人真的在留心時,人在迴路才算一道保障。
- 自動化偏見:人們傾向於信任一個通常正確的系統,沒有真正檢查就批准了。
- 核准疲勞:一個每小時請求五十次授權的代理,會把使用者訓練成條件反射地點「是」。
- 瓶頸:如果每個操作都要等人,自動化就省不了多少時間。
- 有責無權:如果審核者每個決定只有幾秒鐘,又沒有真正的查核能力,就會成為研究者 Madeleine Clare Elish 所說的「道德緩衝區」(moral crumple zone),替系統的失敗承擔責任。
設計好的檢查點
- 按風險設卡,而不是預設設卡。 讓讀取和可逆的操作自由執行。對不可逆、對外或代價高的操作要求批准:付款、刪除、發給他人的訊息、正式環境的變更。
- 讓審核變得容易。 展示 diff、預覽或確切的命令,而不是含糊的描述。人應該能在幾秒鐘內做出判斷。
- 減少需要詢問的事項。 沙盒、復原和限定範圍的權限讓更多操作可以放心自動化,這樣剩下的詢問才能得到真正的關注。
- 分批並排序。 把低風險的決定歸併在一起,把不尋常的突出顯示出來。
- 記錄並抽查。 記下批准了什麼,並抽樣稽核,包括系統獨自處理的那些情況。
是刻度,不是開關
在實踐中,隨著信任的增長,團隊會沿著一條刻度移動:先是 AI 提建議、人來動手,然後是 AI 行動、每一步都要批准,再然後是 AI 獨立行動、人只做抽查。好的系統允許你按操作類型分別設定,並在任務陌生或出錯代價很高時,退回到更多的監督。