O argumento central para x-risk: (1) sistemas de IA estão se tornando cada vez mais capazes, (2) sistemas suficientemente capazes poderiam ser difíceis de controlar, (3) um sistema descontrolado otimizando para o objetivo errado poderia causar danos irreversíveis. Este é o "problema de alinhamento" em escala — o mesmo desafio que faz chatbots de hoje ocasionalmente se comportarem mal, mas com riscos muito maiores à medida que as capacidades aumentam.
As visões dos pesquisadores de IA sobre x-risk abrangem um amplo espectro. Alguns (Yoshua Bengio, Geoffrey Hinton) consideram uma preocupação séria de curto prazo. Outros (Yann LeCun, Andrew Ng) consideram as preocupações atuais exageradas e temem que o foco em x-risk distraia de danos presentes da IA. A maioria dos pesquisadores fica em algum lugar entre — reconhecendo a preocupação enquanto foca em problemas concretos e tratáveis de segurança. A dificuldade é que x-risk é difícil de estudar empiricamente porque os cenários ainda não aconteceram.
Preocupações com x-risk influenciaram diretamente a política de IA: a Declaração de Bletchley (assinada por 28 países), ordens executivas sobre segurança de IA e propostas de governança internacional de IA todas referenciam riscos catastróficos. Críticos argumentam que narrativas de x-risk financiadas pela indústria servem para concentrar o poder de IA entre grandes laboratórios (que podem arcar com compliance) enquanto sufocam o desenvolvimento open-source. O debate é tanto sobre poder e economia quanto sobre risco técnico.