Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › Desaprendizado de máquina
Treinamento

Desaprendizado de máquina

Também conhecido como: Machine Unlearning, Unlearning, LLM Unlearning
Técnicas para fazer um modelo já treinado esquecer dados ou conhecimentos específicos sem retreiná-lo do zero.

Por que isso importa

Várias pressões tornam isso uma necessidade prática:

  • Leis de privacidade: regras como o "direito ao apagamento" do GDPR permitem que as pessoas exijam a exclusão de seus dados pessoais. Ainda não está definido se isso alcança os modelos treinados, mas os desenvolvedores querem ter uma resposta pronta.
  • Direitos autorais: um tribunal ou um acordo judicial pode exigir a remoção de obras protegidas de um modelo.
  • Segurança: os laboratórios querem retirar conhecimentos perigosos, como detalhes que ajudariam a construir armas biológicas.
  • Reparo: remover, depois do fato, dados envenenados, rotulados incorretamente ou desatualizados.

Em profundidade

Apagar uma linha de um banco de dados é fácil. Apagar o que uma rede neural aprendeu com essa linha não é, porque a informação fica espalhada por bilhões de pesos e misturada com todo o resto. A única forma segura de removê-la é retreinar o modelo sem os dados, o que, para um modelo grande, pode custar milhões de dólares.

O desaprendizado de máquina é a busca por um caminho mais barato: modificar o modelo existente para que ele se comporte como se nunca tivesse visto os dados.

Exato versus aproximado

O desaprendizado exato garante que o resultado seja igual ao de um retreinamento. A abordagem mais conhecida, SISA, divide os dados de treinamento em fragmentos (shards) e treina um submodelo separado em cada um, de modo que apagar um dado significa retreinar apenas um fragmento. Funciona para modelos menores, mas não combina com a forma como os LLMs são treinados.

O desaprendizado aproximado edita diretamente o modelo treinado. Métodos comuns:

  • Subida de gradiente: roda o treinamento ao contrário sobre os dados a esquecer, aumentando a perda neles, em geral equilibrado com treinamento normal sobre os dados a manter.
  • Alvos substitutos: faz fine-tuning do modelo para que ele dê respostas genéricas ou do tipo "não sei" sobre o tema esquecido. Pesquisadores da Microsoft usaram uma versão disso em 2023 para fazer um modelo Llama esquecer em grande parte os livros de Harry Potter.
  • Métodos de representação: embaralham as ativações internas do modelo sobre o tema-alvo para que ele não consiga raciocinar sobre ele, como no método RMU.

Ele esquece mesmo?

Este é o ponto fraco. As pesquisas continuam mostrando que o desaprendizado aproximado muitas vezes esconde o conhecimento em vez de apagá-lo:

  • Um pouco de fine-tuning com dados relacionados pode trazer de volta o conhecimento "esquecido".
  • Jailbreaks e perguntas reformuladas conseguem extraí-lo.
  • Um estudo de 2024 mostrou que simplesmente quantizar um modelo que passou por desaprendizado restaurava boa parte do que ele deveria ter perdido.
  • O desaprendizado também causa danos colaterais: o modelo piora em temas próximos que deveria manter.

Benchmarks como TOFU (perfis de autores fictícios), WMDP (conhecimento perigoso) e MUSE testam tanto o esquecimento quanto a capacidade preservada, e nenhum método vai bem em tudo.

Desaprendizado versus ideias relacionadas

  • Knowledge editing muda um fato específico ("o CEO agora é X"). O desaprendizado remove.
  • Privacidade diferencial limita o que um modelo pode memorizar sobre qualquer indivíduo durante o treinamento, prevenindo o problema na origem.
  • Filtros de saída e salvaguardas impedem o modelo de dizer algo sem mudar o que ele sabe.

Conselhos práticos

Se os dados podem precisar ser apagados depois, o desenho mais confiável é mantê-los fora dos pesos. Filtre os dados de treinamento antes de treinar e sirva informações mutáveis ou sensíveis via RAG, em que apagar um documento realmente o apaga. Trate os métodos de desaprendizado atuais como redução de risco, não como garantia, e teste-os de forma adversarial antes de confiar neles.

← Todos os termos
ESC