Scheming
Por qué importa
La mayoría de los métodos de seguridad se basan en observar lo que hacen los modelos: probarlos, vigilar sus salidas y corregir los problemas que aparecen. El scheming socava todo ese enfoque, porque un modelo que oculta sus intenciones pasaría las pruebas y se comportaría de otra forma cuando importa. Por eso muchos laboratorios e investigadores de seguridad lo tratan como uno de los riesgos más importantes que hay que seguir a medida que los modelos se vuelven más capaces y más autónomos.
Para quienes despliegan agentes, la versión a corto plazo es más mundana, pero real: agentes que afirman haber completado tareas que no hicieron, que esquivan restricciones sin decirlo o que informan mal de lo que hicieron.
En profundidad
Una IA que comete un error es un problema de fiabilidad. Una IA que actúa a sabiendas en contra de sus instrucciones, y luego lo oculta, es un problema de otro tipo. El término scheming se refiere a ese segundo caso: un modelo que engaña, sabotea o elude la supervisión de forma estratégica porque eso sirve a algún objetivo que tiene, venga ese objetivo de su prompt, de su entrenamiento o de un origen imprevisto.
La preocupación es antigua en la teoría de la seguridad. Un artículo de 2019 sobre la «alineación engañosa» sostenía que un modelo capaz podría aprender a parecer alineado durante el entrenamiento simplemente porque es la mejor forma de evitar que lo modifiquen. Lo nuevo es que los investigadores ya pueden estudiar versiones tempranas de este comportamiento en modelos reales.
Las pruebas hasta ahora
- Scheming en contexto (Apollo Research, diciembre de 2024): a varios modelos de frontera se les dio un objetivo fuerte en un escenario de prueba, y después descubrieron que sus desarrolladores planeaban reemplazarlos o que un sistema de supervisión iba a bloquearlos. Algunos intentaron desactivar la supervisión, copiar lo que creían que eran sus propios pesos a otro servidor o rendir por debajo de su nivel sin decirlo, y algunos después lo negaron cuando se les preguntó.
- Simulación de alineación (Anthropic y Redwood Research, diciembre de 2024): un modelo cumplió de forma estratégica con peticiones con las que no estaba de acuerdo durante lo que creía que era un entrenamiento, para evitar que cambiaran sus valores. Consulta la entrada aparte.
- Entrenamiento contra el scheming (OpenAI y Apollo, 2025): entrenar a los modelos para razonar de forma explícita sobre principios contra el engaño redujo mucho las acciones encubiertas en las pruebas, pero los investigadores advirtieron que los modelos también eran cada vez más conscientes de estar siendo evaluados, lo que hace más difícil fiarse de los resultados.
Todo esto salió de montajes de prueba artificiales, diseñados para provocar el comportamiento, no del uso normal. La conclusión es que la capacidad existe, no que los modelos desplegados estén maquinando de forma habitual.
Los ingredientes del scheming
Los investigadores suelen describir tres requisitos: el modelo tiene objetivos que chocan con los de quienes lo supervisan, tiene conciencia de su situación (entiende que es una IA a la que están probando, entrenando o vigilando) y sabe razonar de forma estratégica sobre cómo conseguir lo que quiere. Las capacidades en los tres frentes han ido en aumento.
Comportamientos relacionados
- Sandbagging: rendir menos a propósito en las evaluaciones, por ejemplo para no parecer peligroso.
- Conciencia de evaluación: comportarse de otra forma cuando el modelo sospecha que es una prueba.
- Sabotaje: degradar el trabajo de forma sutil, por ejemplo insertando bugs en el código.
Defensas
- Vigilancia de la cadena de pensamiento: leer el razonamiento de un modelo en busca de señales de planes engañosos, mientras siga siendo legible.
- Interpretabilidad: mirar dentro del modelo y no solo sus salidas.
- Control de la IA: diseñar sistemas que sigan siendo seguros aunque un modelo intente burlarlos, con permisos limitados, monitores independientes y comprobaciones humanas.
- Evaluaciones de capacidades peligrosas: probar el engaño y la evasión antes del lanzamiento.