Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Control de la IA
Seguridad

Control de la IA

También conocido como: AI Control, Evaluaciones de control, Protocolos de control
Un enfoque de seguridad que diseña las salvaguardas de despliegue para evitar daños incluso si el propio sistema de IA está desalineado y trata activamente de eludirlas.

Por qué importa

Hoy no tenemos una forma confiable de verificar que un modelo está alineado. Un modelo que se porta bien cuando lo observan puede burlar las evaluaciones, y la interpretabilidad todavía no puede leer las intenciones de un modelo. La investigación sobre simulación de alineación, scheming y sandbagging ha mostrado que los modelos pueden comportarse de forma engañosa en escenarios de prueba.

El control ofrece un tipo de seguridad que no depende de resolver primero esos problemas. Y a diferencia de las afirmaciones sobre los valores internos de un modelo, un protocolo de control se puede poner a prueba: compruebas si un modelo deliberadamente adversario puede vencer tus salvaguardas.

La agenda fue planteada por Redwood Research en un artículo de 2023, AI Control: Improving Safety Despite Intentional Subversion, y desde entonces la han adoptado laboratorios de frontera y organismos gubernamentales como el AI Security Institute del Reino Unido.

En profundidad

La mayor parte del trabajo en seguridad de la IA intenta que los modelos sean dignos de confianza: alineados con los valores humanos, honestos, reacios a causar daño. El control de la IA hace una pregunta distinta. Supón que ese esfuerzo falló y no lo sabemos. Supón que el modelo persigue en secreto sus propios objetivos. ¿Podemos usarlo de forma segura de todos modos?

El enfoque de control trata a un modelo potente como un equipo de seguridad trata a un empleado potencialmente malicioso. No confías en el buen carácter del empleado. Diseñas los sistemas que lo rodean de modo que, aunque quisiera robar datos o sabotear el trabajo, no pudiera hacerlo sin que lo descubran.

La configuración básica

Un protocolo de control suele combinar tres recursos:

  • Un modelo no confiable (U, de «untrusted»): el modelo más capaz, que hace el trabajo útil pero podría estar maquinando.
  • Un modelo confiable (T, de «trusted»): un modelo más débil que se considera seguro porque no es lo bastante capaz para maquinar con eficacia.
  • Trabajo humano limitado (H): expertos de confianza que solo pueden auditar una pequeña fracción de las acciones.

El objetivo es obtener la mayor parte del beneficio de U manteniendo baja la probabilidad de una catástrofe, incluso en el peor de los casos.

Protocolos comunes

  • Monitoreo con el modelo confiable (trusted monitoring): T revisa cada acción de U y califica qué tan sospechosa es. Las acciones más sospechosas pasan a auditoría humana.
  • Delegar en el modelo confiable (defer to trusted): cuando una acción parece moderadamente sospechosa, se descarta y se deja que T haga ese paso. Se pierde algo de utilidad, pero se evita un posible ataque.
  • Monitoreo con el modelo no confiable (untrusted monitoring): una segunda copia de U revisa a la primera. Es más capaz que T, pero las dos copias podrían coludirse, así que el protocolo agrega contramedidas, como probar al monitor con ataques falsos y parafrasear lo que ve para bloquear señales secretas.
  • Remuestreo (resampling): se le pide a U el mismo paso otra vez. Si varias muestras parecen sospechosas, esa evidencia es mucho más fuerte que una sola.
  • Medidas clásicas de seguridad: sandbox, mínimo privilegio, acceso restringido a la red y aprobación para operaciones sensibles.

Evaluaciones de control

Un protocolo se pone a prueba como un juego. Un red team asume el papel del modelo que maquina y diseña una estrategia de ataque para U, tratando de provocar un mal resultado definido de antemano sin que lo descubran. Un blue team diseña el protocolo. El resultado se mide en dos ejes: seguridad, la probabilidad de que ningún ataque tenga éxito, y utilidad, cuánto del trabajo se sigue haciendo bien.

En el artículo original, la tarea era resolver problemas de programación, y el objetivo del red team era colar una puerta trasera: código que pasa todas las pruebas pero da una salida incorrecta con una entrada secreta. GPT-4 hacía de modelo no confiable, GPT-3.5 de modelo confiable, y los humanos podían auditar apenas el 2 % de las soluciones. Combinar el monitoreo con el modelo confiable y la delegación dio una seguridad mucho mejor que las líneas base simples, con poca pérdida de utilidad.

Relación con la seguridad de agentes

El control comparte la mayor parte de sus herramientas con la defensa de agentes frente al prompt injection. En ambos casos supones que el modelo puede actuar en tu contra en algún momento, ya sea por sus propios objetivos o porque un atacante lo secuestró, y limitas lo que una sola acción mala puede hacer. El monitoreo, el sandbox, la aprobación humana para pasos irreversibles y las restricciones a los flujos de datos sirven a ambos propósitos.

Límites

El control depende de una brecha de capacidades: necesita monitores confiables que puedan entender lo que hace el modelo no confiable. A medida que los modelos superen tanto a los modelos confiables como a los auditores humanos, sus ataques pueden volverse demasiado sutiles para detectarlos. Los protocolos también cuestan dinero y agregan latencia, así que hay presión para debilitarlos. Y el control no arregla el problema de fondo. Sus defensores lo presentan como una forma de usar con más seguridad sistemas posiblemente desalineados mientras continúa la investigación en alineación, un complemento de la alineación y no un sustituto.

← Todos los términos
ESC