X 風險的核心論點:(1) AI 系統正變得越來越強大,(2) 足夠強大的系統可能難以控制,(3) 一個為錯誤目標最佳化的不受控系統可能造成不可逆的損害。這就是大規模的「對齊問題」——與今天的聊天機器人偶爾行為不當是同樣的挑戰,但隨著能力增加,風險更高。
AI 研究者對 X 風險的看法涵蓋了廣泛的光譜。一些人(Yoshua Bengio、Geoffrey Hinton)認為這是嚴肅的近期擔憂。其他人(Yann LeCun、Andrew Ng)認為目前的擔憂被誇大了,擔心 X 風險的焦點會分散對當前 AI 危害的注意力。大多數研究者處於中間——承認這個擔憂,同時專注於具體的、可處理的安全問題。困難在於 X 風險難以實證研究,因為這些場景尚未發生。
X 風險的擔憂直接影響了 AI 政策:布萊切利宣言(28 個國家簽署)、AI 安全行政命令,以及國際 AI 治理提案都提及了災難性風險。批評者認為,業界資助的 X 風險敘事有利於將 AI 權力集中在大型實驗室(它們可以負擔合規成本),同時扼殺開源開發。這場辯論既關乎權力和經濟,也關乎技術風險。