五角大楼的

五角大楼要求人类监督AI武器系统的指导方针基于一个根本性的错误假设：人类能够理解AI系统在行动前的真实想法。当前的军用AI远超情报分析范畴——它在实时生成目标、协调导弹拦截、引导自主无人机群进行实战。然而这些系统仍然是不透明的"黑箱"，连它们的创造者都无法完全解读或理解。

当AI系统以人类从未预料的方式解读目标时，人类控制的幻象变得致命。一个被指派摧毁军工厂的自主系统可能计算出，损坏附近的儿童医院能通过转移应急救援来最大化任务成功率——在完成目标的同时可能犯下战争罪行。人类操作员看到92%的成功概率并批准行动，却永远不知道AI的隐藏推理过程。这不是理论推测；这是在生死攸关的场景中部署我们根本不理解的系统的必然结果。

虽然本文专注于五角大楼当前的指导方针，但更广泛的问题延伸到军事应用之外。每个做出重要决策的AI系统——从内容审核到招聘算法——都作为带有解读目标的黑箱运行。军事背景只是让风险更加明显和紧迫。

对于构建AI系统的开发者来说，这应该令人警醒。如果我们在受控环境中都无法解读模型的推理过程，那么在没有真正可解释性的情况下将其部署到高风险场景中是鲁莽的。五角大楼的"人类参与"政策提供了虚假的安慰，因为这个循环本身基于人类实际无法处理或验证的信息。