Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Desaprendizaje automático
Entrenamiento

Desaprendizaje automático

También conocido como: Machine Unlearning, Unlearning, LLM Unlearning
Técnicas para hacer que un modelo ya entrenado olvide datos o conocimientos específicos sin volver a entrenarlo desde cero.

Por qué importa

Varias presiones lo convierten en una necesidad práctica:

  • Leyes de privacidad: normas como el «derecho de supresión» del RGPD permiten a las personas exigir que se borren sus datos personales. Todavía se está definiendo si eso alcanza a los modelos entrenados, pero los desarrolladores quieren tener una respuesta lista.
  • Derechos de autor: un tribunal o un acuerdo judicial puede exigir que se retiren obras protegidas de un modelo.
  • Seguridad: los laboratorios quieren eliminar conocimientos peligrosos, como los detalles que ayudarían a fabricar armas biológicas.
  • Reparación: eliminar a posteriori datos envenenados, mal etiquetados o desactualizados.

En profundidad

Borrar una fila de una base de datos es fácil. Borrar lo que una red neuronal aprendió de esa fila no lo es, porque la información queda repartida entre miles de millones de pesos y mezclada con todo lo demás. La única forma segura de eliminarla es volver a entrenar el modelo sin esos datos, lo que en un modelo grande puede costar millones de dólares.

El desaprendizaje automático es la búsqueda de un camino más barato: modificar el modelo existente para que se comporte como si nunca hubiera visto esos datos.

Exacto frente a aproximado

El desaprendizaje exacto garantiza que el resultado coincide con el de un reentrenamiento. El enfoque más conocido, SISA, divide los datos de entrenamiento en fragmentos (shards) y entrena un submodelo distinto con cada uno, de modo que borrar un dato solo implica reentrenar un fragmento. Funciona en modelos más pequeños, pero no encaja con la forma en que se entrenan los LLM.

El desaprendizaje aproximado edita directamente el modelo entrenado. Métodos habituales:

  • Ascenso de gradiente: se ejecuta el entrenamiento al revés sobre los datos que hay que olvidar, aumentando la pérdida en ellos, normalmente equilibrado con entrenamiento normal sobre los datos que se quieren conservar.
  • Objetivos sustitutos: se hace fine-tuning del modelo para que dé respuestas genéricas o del tipo «no lo sé» sobre el tema olvidado. Investigadores de Microsoft usaron una versión de esto en 2023 para que un modelo Llama olvidara en gran medida los libros de Harry Potter.
  • Métodos de representación: se alteran las activaciones internas del modelo sobre el tema objetivo para que no pueda razonar sobre él, como en el método RMU.

¿De verdad olvida?

Este es el punto débil. La investigación sigue encontrando que el desaprendizaje aproximado a menudo oculta el conocimiento en lugar de borrarlo:

  • Un poco de fine-tuning con datos relacionados puede traer de vuelta el conocimiento «olvidado».
  • Los jailbreaks y las preguntas reformuladas pueden extraerlo.
  • Un estudio de 2024 encontró que simplemente cuantizar un modelo sometido a desaprendizaje restauraba gran parte de lo que supuestamente había perdido.
  • El desaprendizaje también causa daños colaterales: el modelo empeora en temas cercanos que debía conservar.

Benchmarks como TOFU (perfiles de autores ficticios), WMDP (conocimiento peligroso) y MUSE evalúan tanto el olvido como la capacidad conservada, y ningún método obtiene buenos resultados en todo.

El desaprendizaje frente a ideas relacionadas

  • La edición de conocimiento cambia un hecho concreto («el CEO ahora es X»). El desaprendizaje elimina.
  • La privacidad diferencial limita lo que un modelo puede memorizar sobre cualquier individuo durante el entrenamiento, y así previene el problema desde el principio.
  • Los filtros de salida y las salvaguardas impiden que el modelo diga algo sin cambiar lo que sabe.

Consejos prácticos

Si es posible que haya que borrar datos más adelante, el diseño más confiable los mantiene fuera de los pesos. Filtra los datos de entrenamiento antes de entrenar y sirve la información cambiante o sensible mediante RAG, donde borrar un documento realmente lo borra. Trata los métodos de desaprendizaje actuales como una reducción de riesgo, no como una garantía, y pruébalos de forma adversarial antes de confiar en ellos.

← Todos los términos
ESC