為什麼重要
同一個模型換一個 harness,表現可能大不相同。在 SWE-bench Verified、Terminal-Bench 這樣的程式設計基準上,只換 harness 就能讓分數變動很多個點,這就是排行榜把模型和代理系統一起列出的原因。當一個代理產品顯得比直接呼叫同一模型的 API 更聰明時,原因就在 harness。
對開發者來說,大部分工程工作都花在 harness 上。你通常改不了模型,但可以改它看到什麼、擁有哪些工具,以及出了問題之後怎麼辦。
深度解析
語言模型本身只是把文字對應成文字。它不能讀檔案,不能執行命令,也記不住自己一小時前做過什麼。harness 就是圍繞模型的那個程式,是它讓這些事情成為可能。它把提示發給模型,執行模型要求的工具呼叫,把結果送回去,如此循環,直到任務完成。
一個好記的公式:代理 = 模型 + harness。Claude Code、OpenAI 的 Codex CLI、Cursor 的代理模式,以及 OpenHands、SWE-agent 這樣的開源專案,都是 harness。人們用來搭建自己 harness 的框架也是,比如 Claude Agent SDK、OpenAI Agents SDK 和 LangGraph。研究人員常把同一樣東西叫作鷹架(scaffolding)。
Harness 做些什麼
- 迴圈:呼叫模型,執行工具呼叫,回傳結果,重複,並決定何時停止。
- 工具:定義工具,驗證參數,執行它們,並把結果整理得簡短有用。SWE-agent 論文把這稱為 agent-computer interface(代理與電腦的介面),並表明工具設計和提示同樣重要。
- 上下文管理:建構系統提示,載入專案指令,在上下文視窗快滿時總結舊的歷史(壓縮),並保持提示快取不失效。
- 權限與沙盒:決定哪些操作自動執行,哪些需要人工批准,以及代理究竟能碰什麼。
- 記憶與狀態:能夠跨越單個上下文視窗保留下來的筆記、待辦清單和檔案,以及用於復原的檢查點。
- 編排:派生子代理,平行執行工具,出錯後重試,並對步數和 token 預算設限。
一個最小的 Harness
核心迴圈很小:
messages = [{"role": "user", "content": task}]
while True:
reply = model(messages, tools=tools)
messages.append(reply)
if not reply.tool_calls:
break
for call in reply.tool_calls:
messages.append(run_tool(call))
生產級 harness 裡的其他一切,都是為了處理這個迴圈忽略的東西:長任務、失敗、安全和成本。
越來越薄
早期的代理系統需要厚重的鷹架:僵硬的計畫、輸出解析器、手工搭建的檢索和許多專門的提示。隨著模型在工具使用和規劃方面進步,其中很多東西變得沒有必要,甚至有害,因為它們妨礙了模型運用自己的判斷。這就是「苦澀的教訓」在代理上的體現。如今許多最強的 harness 都刻意保持簡單:一個好的迴圈,幾個通用工具(比如 shell 和檔案編輯器),再加上細緻的上下文管理。
由此可以養成一個實用的習慣:每當新模型發布,試著拿掉 harness 的一些部分,看看結果是否變好。
Harness 與評估
因為 harness 會改變結果,基準數字只有在 harness 相同時才有可比性。對安全評估來說,薄弱的 harness 是實實在在的風險,因為它會讓模型顯得比實際能力弱。所以評估者會在能力誘發(elicitation)上下功夫:給模型好用的工具和足夠的預算,讓它展現真正能做到的事。
選用還是自建
除非你有特殊需求,否則從現成的 harness 或 SDK 開始。先把精力投在描述清晰、輸出緊湊的工具上,然後是上下文管理,再然後是權限。記錄迴圈的每一步。出問題時去讀完整的執行記錄:大多數代理的失敗源於模型看到了什麼,而不是模型的能力。