Zubnet AI学习Wiki › 双重用途
安全

双重用途

别名:双用途技术
可同时用于有益和有害目的的技术。AI本质上是双重用途的:帮助医生诊断疾病的同一模型可能帮助不法分子合成危险化合物。加速软件开发的同一代码生成模型可能帮助创建恶意软件。管理双重用途风险是AI治理的核心挑战。

为什么重要

双重用途是AI开发的根本张力。使模型更强大不可避免地使其更具危害能力。你无法构建一个只推理好事的强大推理引擎。这一张力推动了关于开源发布、API限制和监管的辩论——当同一能力既能造福又能造害时,如何最大化收益同时最小化危害?

深度解析

双重用途并非AI独有——核物理、生物学和密码学都面临同样的问题。AI的不同之处在于扩散速度:一种危险的生物技术需要实验室;一种危险的AI技术只需要一台电脑。这意味着传统的双重用途治理(出口管制、实验室安全法规)在AI领域的适用性有限,因为“实验室”是一台笔记本电脑,“材料”是开源代码。

能力评估方法

领先的AI实验室在发布前评估模型的危险能力:它能否提供生物武器的详细说明?它能否协助网络攻击?它能否大规模生成令人信服的虚假信息?这些“危险能力评估”决定了需要哪些安全措施。在特定领域显示出较高风险的模型会接受额外的护栏,某些能力有时会被移除或限制。

开源张力

双重用途在开放权重模型发布方面造成了尖锐的紧张关系。开放模型(Llama、Mistral)可以被自由修改以移除安全护栏,使滥用成为可能。但它们也使安全研究、学术研究、隐私保护应用和创新成为可能,这些是专有模型所不允许的。这场辩论没有简单的解决方案——双方都有合理的论据,最优政策可能随着能力和风险的变化而演变。

相关概念

← 所有术语
← 参数 反向传播 →