L'argument central pour le risque existentiel : (1) les systèmes d'IA deviennent de plus en plus capables, (2) des systèmes suffisamment capables pourraient être difficiles à contrôler, (3) un système incontrôlé optimisant pour le mauvais objectif pourrait causer des dommages irréversibles. C'est le « problème de l'alignement » à grande échelle — le même défi qui cause les comportements erratiques occasionnels des chatbots d'aujourd'hui, mais avec des enjeux beaucoup plus élevés à mesure que les capacités augmentent.
Les opinions des chercheurs en IA sur le risque existentiel couvrent un large spectre. Certains (Yoshua Bengio, Geoffrey Hinton) le considèrent comme une préoccupation sérieuse à court terme. D'autres (Yann LeCun, Andrew Ng) considèrent les inquiétudes actuelles exagérées et s'inquiètent que le focus sur le risque existentiel détourne des préjudices actuels de l'IA. La plupart des chercheurs se situent quelque part entre les deux — reconnaissant la préoccupation tout en se concentrant sur des problèmes de sécurité concrets et traitables. La difficulté est que le risque existentiel est difficile à étudier empiriquement parce que les scénarios ne se sont pas encore produits.
Les préoccupations de risque existentiel ont directement influencé la politique de l'IA : la Déclaration de Bletchley (signée par 28 pays), les décrets sur la sécurité de l'IA et les propositions de gouvernance internationale de l'IA font tous référence aux risques catastrophiques. Les critiques arguent que les récits de risque existentiel financés par l'industrie servent à concentrer le pouvoir de l'IA parmi les grands labos (qui peuvent se permettre la conformité) tout en étouffant le développement open-source. Le débat porte autant sur le pouvoir et l'économie que sur le risque technique.