El fundamento intelectual para la ASI proviene de I.J. Good, un matemático británico que trabajó con Alan Turing. En 1965 escribió: "Una máquina ultrainteligente podría diseñar máquinas aún mejores; entonces, sin duda habría una explosión de inteligencia, y la inteligencia humana quedaría muy atrás." Nick Bostrom amplió esta idea en su libro de 2014 Superintelligence, argumentando que una vez que un sistema de IA sea capaz de mejorar su propia arquitectura y entrenamiento, podría autogenerarse rápidamente a niveles de inteligencia tan lejos de la cognición humana como los humanos lo están de los insectos. La afirmación clave no es que la ASI sería solo un poco más inteligente que nosotros — es que la brecha podría ser incomprensiblemente grande, y que la transición de la inteligencia humana a una superhumana en gran medida podría ocurrir en días o semanas en lugar de en décadas. Este es el escenario de "toma dura", y sigue siendo la idea más debatida en la seguridad de la IA.
La mayoría de los investigadores de IA en activo son escépticos sobre la ASI a corto plazo, y tienen buenas razones. La mejora recursiva de sí mismo suena elegante en teoría pero choca con barreras prácticas: mejorar un sistema de IA requiere no solo inteligencia, sino también datos, cómputo e insight sobre la naturaleza misma de la inteligencia — nada de lo cual se garantiza que venga simplemente de ser más inteligente. No hay evidencia de que la inteligencia se escale sin límites, y podría haber límites computacionales fundamentales sobre lo que cualquier sistema puede lograr. Las arquitecturas de IA actuales muestran rendimientos decrecientes al escalar, y no se conoce un camino desde incluso un LLM muy capaz hasta una mejora recursiva genuina. Dicho esto, la mayoría de estos mismos investigadores toman en serio el riesgo a largo plazo. El argumento no es "la ASI es imposible", sino más bien "la ASI no es inminente, y el camino hacia ella probablemente no se parecerá a lo que imagina la ciencia ficción". El problema es que si estás equivocado sobre el cronograma incluso por una década o dos, y no has preparado, las consecuencias podrían ser catastróficas.
La alineación — conseguir que la IA haga lo que realmente queremos — ya es difícil con los sistemas actuales. A nivel de superinteligencia, se convierte en un problema cualitativamente diferente. Las técnicas actuales de alineación se basan en una suposición simple: los humanos pueden evaluar si la salida de la IA es buena. Usamos RLHF (aprendizaje por refuerzo con retroalimentación humana) porque los humanos pueden leer un ensayo y decir "este es mejor". Usamos red-teaming porque los humanos pueden probar modos de falla. Pero estas técnicas requieren fundamentalmente que el humano sea más inteligente que la IA en la tarea que se evalúa, o al menos lo suficientemente inteligente para reconocer salidas buenas y malas. Un sistema superinteligente, por definición, opera más allá de la capacidad de evaluación humana. Podría producir soluciones que parezcan correctas para nosotros pero que contengan fallos sutiles que no podamos detectar, o perseguir estrategias que parezcan alineadas en cada métrica que podamos medir, pero que en realidad estén optimizando algo completamente diferente. Esto no es un caso límite hipotético — es el problema central. No puedes usar RLHF en algo más inteligente que tú, por la misma razón por la que no puedes calificar una tesis de doctorado en un campo que no entiendes.
Ya sea que la ASI esté a décadas de distancia o no, la posibilidad moldea lo que ocurre hoy en día de maneras concretas. Anthropic fue fundada explícitamente alrededor de la premisa de que la IA avanzada podría representar riesgos existenciales, y esta creencia impulsa sus prioridades de investigación, sus normas de publicación y su disposición a aceptar un progreso más lento en capacidad a cambio de garantías de seguridad mejores. El estatuto de OpenAI menciona el objetivo de garantizar que la AGI "beneficie a toda la humanidad", un lenguaje que implica reconocer el escenario de ASI. Los gobiernos están redactando regulaciones de IA con superinteligencia en sus modelos de amenaza — la Ley Europea de IA, la orden ejecutiva de Biden y el marco de gobernanza de IA de China incluyen disposiciones que solo tienen sentido si tomas en serio la IA transformadora. El debate sobre la gobernanza del cómputo — si restringir el acceso a las mayores ejecuciones de entrenamiento — está directamente motivado por la idea de que el escalamiento no controlado podría producir sistemas más allá de nuestra capacidad para controlar. Los patrones de inversión también lo reflejan: miles de millones fluyen hacia la investigación de alineación, interpretabilidad y seguridad de IA no porque los inversores sean altruistas, sino porque reconocen que una superinteligencia no alineada es mala para los negocios en el sentido más literal posible.
El debate sobre ASI tiende a dos extremos, y ambos son inútiles. Por un lado, los "doomers" asignan alta probabilidad a una ASI inminente seguida de la extinción humana, a veces argumentando que el desarrollo de IA debe detenerse por completo. Por otro lado, los desestimadores tratan cualquier discusión sobre superinteligencia como ciencia ficción, digna de atención seria. El equilibrio razonable — ocupado por la mayoría de los investigadores que han pensado cuidadosamente en esto — se parece a: la ASI no es inminente pero es plausible en un horizonte de décadas a siglos; los riesgos son lo suficientemente reales como para merecer investigación seria y política pensada; las técnicas actuales de alineación son insuficientes para sistemas verdaderamente superhumanos y necesitamos desarrollar mejores con anticipación; y ninguno de esto significa que debamos dejar de construir IA, pero sí que debamos construirla con cuidado, con una inversión genuina en seguridad que se escale con la inversión en capacidad. El desafío es que esta posición sutil no hace buenas noticias, por lo que el debate público está dominado por los extremos mientras que el trabajo real de hacer IA avanzada segura ocurre silenciosamente en los laboratorios de investigación.