Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Interpretabilidad
Seguridad

Interpretabilidad

También conocido como: Explicabilidad, IA explicable
El esfuerzo por entender por qué un modelo de IA produce las salidas que produce, explicando sus decisiones o examinando su funcionamiento interno.

Por qué importa

La gente necesita confiar en los sistemas de IA, depurarlos y gobernarlos. Una médica que revisa un diagnóstico asistido por IA, un banco que explica una decisión de crédito a un regulador o un ingeniero que busca por qué un modelo falla con ciertas entradas necesitan algún relato del razonamiento del modelo. Las leyes lo piden cada vez más: la Ley de IA de la UE fija requisitos de transparencia para los sistemas de alto riesgo, y muchas normas financieras y sanitarias ya exigen explicaciones de las decisiones automatizadas.

Para la seguridad de la IA, la interpretabilidad se ve como una de las pocas formas de comprobar lo que un modelo hace en realidad, y no solo lo que dice. Si un modelo pudiera engañar a quienes lo prueban, mirar únicamente sus salidas no bastaría.

En profundidad

A las redes neuronales modernas se las suele llamar cajas negras. Conocemos sus entradas y sus salidas y podemos ver cada uno de sus miles de millones de números, pero no es fácil decir por qué un modelo dio una respuesta concreta. Interpretabilidad es el término general para los métodos que intentan abrir la caja.

Abarca dos grandes tradiciones. La explicabilidad (a menudo llamada XAI) se centra en explicar decisiones individuales en términos humanos, por ejemplo qué factores pesaron más en el rechazo de un préstamo. La interpretabilidad mecanicista, que tiene su propia entrada, intenta hacer ingeniería inversa de los algoritmos internos que ha aprendido un modelo.

Explicar decisiones

Los métodos clásicos de explicabilidad trabajan desde fuera:

  • Atribución de características: métodos como SHAP y LIME estiman cuánto contribuyó cada característica de entrada a una predicción.
  • Mapas de saliencia: resaltan qué píxeles de una imagen influyeron más en un clasificador.
  • Contrafactuales: «el préstamo se habría aprobado si los ingresos fueran un 10 % mayores».
  • Modelos interpretables por diseño: árboles de decisión y modelos lineales cuya lógica se puede leer directamente, a veces preferidos en contextos de alto riesgo aunque cuesten algo de precisión.

Mirar dentro

Los métodos para redes neuronales, y sobre todo para LLM, examinan las activaciones internas:

  • Sondeo (probing): entrenar un clasificador sencillo sobre los estados ocultos de un modelo para comprobar si representa algún concepto, como la veracidad o el sentimiento de una oración.
  • Autoencoders dispersos: descomponen las activaciones en millones de «características» interpretables. El trabajo de Anthropic con Claude en 2024 encontró características para conceptos que iban del puente Golden Gate a los bugs en el código, y mostró que amplificar una característica cambia el comportamiento del modelo.
  • Trazado de circuitos: mapear cómo se conectan las características entre capas para producir una respuesta, por ejemplo mostrar a un modelo planeando una rima antes de escribir el verso.
  • Dirección (steering): añadir o quitar direcciones en el espacio de activaciones para cambiar el comportamiento, lo que pone a prueba la comprensión y además ofrece una herramienta de control.

Leer el razonamiento del modelo

Los modelos de razonamiento producen una cadena de pensamiento antes de responder. Leerla es una ventana útil, aunque parcial, a su proceso. Pero la investigación muestra que una cadena de pensamiento no siempre es fiel: los modelos a veces dan razones que no coinciden con lo que de verdad motivó su respuesta. Trátala como un indicio, no como una prueba.

Límites

Las explicaciones pueden confundir si simplifican demasiado, y los métodos de atribución a veces se contradicen entre sí. Los métodos internos han avanzado rápido, pero todavía explican solo una fracción de lo que calculan los modelos grandes. La interpretabilidad es una caja de herramientas en crecimiento, todavía no una comprensión completa.

← Todos los términos
ESC