代理迴路:(1) 觀察當前狀態(已完成什麼、有什麼資訊可用),(2) 規劃下一步行動(使用 LLM 的推理),(3) 執行行動(工具呼叫、程式碼執行、API 請求),(4) 觀察結果,(5) 決定是繼續、調整還是完成。這個觀察-規劃-行動迴路重複直到任務完成或代理卡住並尋求幫助。
根本性的挑戰:代理工作流程中的每一步都有一定的錯誤機率(選錯工具、推理不正確、誤解結果)。在 10 步工作流程中,即使每步 95% 的準確率也只會累積到整體 60% 的成功率。這就是為什麼目前的代理在對個別步驟錯誤有一定容忍度的任務(研究、腦力激盪)上表現最好,而在需要每一步都精確的任務(金融交易、法律文件)上掙扎。
大多數生產環境的代理部署包含人類監督:代理提議行動,人類批准或修正,代理繼續。這種「人在迴路中」的方法犧牲了完全的自主性以換取可靠性。趨勢是對低風險行動(讀取檔案、搜尋)給予更廣泛的自主權,對高風險行動(發送電子郵件、進行購買、修改生產系統)則需要人類批准。適當的自主程度取決於錯誤的成本。