存在性风险是 AI 领域最具影响力的辩论。如果风险是真实且重大的，它应该主导 AI 政策。如果被夸大了，关注它会分散人们对当今正在发生的具体危害（偏见、就业替代、虚假信息）的注意力。理解真正的论点——而非漫画化的版本——有助于你对我们时代最重要的问题之一形成知情的立场。
支持存在性风险的核心论点：(1) AI 系统正变得越来越强大，(2) 足够强大的系统可能难以控制，(3) 一个为错误目标优化的不受控系统可能造成不可逆的损害。这就是"对齐问题"的规模化版本——与今天的聊天机器人偶尔行为不当相同的挑战，但随着能力增加，风险也更高。
AI 研究人员对存在性风险的看法覆盖了广泛的光谱。一些人（Yoshua Bengio、Geoffrey Hinton）认为这是严重的近期关切。另一些人（Yann LeCun、Andrew Ng）认为当前的担忧被夸大了，并担心对存在性风险的关注会分散人们对当前 AI 危害的注意力。大多数研究人员介于两者之间——承认这一关切同时专注于具体、可操作的安全问题。困难在于存在性风险很难进行经验研究，因为这些场景尚未发生。
存在性风险关切直接影响了 AI 政策：布莱切利宣言（28 个国家签署）、关于 AI 安全的行政命令，以及国际 AI 治理提案都引用了灾难性风险。批评者认为，由行业资助的存在性风险叙事有助于将 AI 权力集中在大型实验室（能承担合规成本的），同时扼杀开源发展。这场辩论涉及权力和经济，与技术风险同样重要。