El argumento central para el riesgo existencial: (1) los sistemas de IA se están volviendo cada vez más capaces, (2) los sistemas suficientemente capaces podrían ser difíciles de controlar, (3) un sistema no controlado optimizando el objetivo equivocado podría causar daño irreversible. Este es el "problema de alineación" a escala — el mismo desafío que hace que los chatbots de hoy ocasionalmente se comporten mal, pero con apuestas mucho más altas a medida que las capacidades aumentan.
Las opiniones de los investigadores de IA sobre el riesgo existencial abarcan un amplio espectro. Algunos (Yoshua Bengio, Geoffrey Hinton) lo consideran una preocupación seria a corto plazo. Otros (Yann LeCun, Andrew Ng) consideran que las preocupaciones actuales están exageradas y les preocupa que el enfoque en el riesgo existencial distraiga de los daños presentes de la IA. La mayoría de los investigadores caen en algún punto intermedio — reconociendo la preocupación mientras se enfocan en problemas de seguridad concretos y tratables. La dificultad es que el riesgo existencial es difícil de estudiar empíricamente porque los escenarios aún no han ocurrido.
Las preocupaciones por riesgo existencial han influido directamente en la política de IA: la Declaración de Bletchley (firmada por 28 países), órdenes ejecutivas sobre seguridad de IA, y propuestas de gobernanza internacional de IA todas hacen referencia a riesgos catastróficos. Los críticos argumentan que las narrativas de riesgo existencial financiadas por la industria sirven para concentrar el poder de IA entre grandes laboratorios (que pueden pagar el cumplimiento) mientras se sofoca el desarrollo de código abierto. El debate es tanto sobre poder y economía como sobre riesgo técnico.