为什么重要
同一个模型换一个 harness,表现可能大不相同。在 SWE-bench Verified、Terminal-Bench 这样的编程基准上,只换 harness 就能让分数变动很多个点,这就是排行榜把模型和智能体系统一起列出的原因。当一个智能体产品显得比直接调用同一模型的 API 更聪明时,原因就在 harness。
对开发者来说,大部分工程工作都花在 harness 上。你通常改不了模型,但可以改它看到什么、拥有哪些工具,以及出了问题之后怎么办。
深度解析
语言模型本身只是把文本映射成文本。它不能读文件,不能运行命令,也记不住自己一小时前做过什么。harness 就是围绕模型的那个程序,是它让这些事情成为可能。它把提示发给模型,执行模型要求的工具调用,把结果送回去,如此循环,直到任务完成。
一个好记的公式:智能体 = 模型 + harness。Claude Code、OpenAI 的 Codex CLI、Cursor 的智能体模式,以及 OpenHands、SWE-agent 这样的开源项目,都是 harness。人们用来搭建自己 harness 的框架也是,比如 Claude Agent SDK、OpenAI Agents SDK 和 LangGraph。研究人员常把同一样东西叫作脚手架(scaffolding)。
Harness 做些什么
- 循环:调用模型,执行工具调用,返回结果,重复,并决定何时停止。
- 工具:定义工具,校验参数,运行它们,并把结果整理得简短有用。SWE-agent 论文把这称为 agent-computer interface(智能体与计算机的接口),并表明工具设计和提示同样重要。
- 上下文管理:构建系统提示,加载项目指令,在上下文窗口快满时总结旧的历史(压缩),并保持提示缓存不失效。
- 权限与沙箱:决定哪些操作自动执行,哪些需要人工批准,以及智能体究竟能碰什么。
- 记忆与状态:能够跨越单个上下文窗口保留下来的笔记、待办清单和文件,以及用于撤销的检查点。
- 编排:派生子智能体,并行运行工具,出错后重试,并对步数和 token 预算设限。
一个最小的 Harness
核心循环很小:
messages = [{"role": "user", "content": task}]
while True:
reply = model(messages, tools=tools)
messages.append(reply)
if not reply.tool_calls:
break
for call in reply.tool_calls:
messages.append(run_tool(call))
生产级 harness 里的其他一切,都是为了处理这个循环忽略的东西:长任务、失败、安全和成本。
越来越薄
早期的智能体系统需要厚重的脚手架:僵硬的计划、输出解析器、手工搭建的检索和许多专门的提示。随着模型在工具使用和规划方面进步,其中很多东西变得没有必要,甚至有害,因为它们妨碍了模型运用自己的判断。这就是“苦涩的教训”在智能体上的体现。如今许多最强的 harness 都刻意保持简单:一个好的循环,几个通用工具(比如 shell 和文件编辑器),再加上细致的上下文管理。
由此可以养成一个实用的习惯:每当新模型发布,试着拿掉 harness 的一些部分,看看结果是否变好。
Harness 与评估
因为 harness 会改变结果,基准数字只有在 harness 相同时才有可比性。对安全评估来说,薄弱的 harness 是实实在在的风险,因为它会让模型显得比实际能力弱。所以评估者会在能力诱发(elicitation)上下功夫:给模型好用的工具和足够的预算,让它展现真正能做到的事。
选用还是自建
除非你有特殊需求,否则从现成的 harness 或 SDK 开始。先把精力投在描述清晰、输出紧凑的工具上,然后是上下文管理,再然后是权限。记录循环的每一步。出问题时去读完整的运行记录:大多数智能体的失败源于模型看到了什么,而不是模型的能力。