Desaprendizado de máquina
Por que isso importa
Várias pressões tornam isso uma necessidade prática:
- Leis de privacidade: regras como o "direito ao apagamento" do GDPR permitem que as pessoas exijam a exclusão de seus dados pessoais. Ainda não está definido se isso alcança os modelos treinados, mas os desenvolvedores querem ter uma resposta pronta.
- Direitos autorais: um tribunal ou um acordo judicial pode exigir a remoção de obras protegidas de um modelo.
- Segurança: os laboratórios querem retirar conhecimentos perigosos, como detalhes que ajudariam a construir armas biológicas.
- Reparo: remover, depois do fato, dados envenenados, rotulados incorretamente ou desatualizados.
Em profundidade
Apagar uma linha de um banco de dados é fácil. Apagar o que uma rede neural aprendeu com essa linha não é, porque a informação fica espalhada por bilhões de pesos e misturada com todo o resto. A única forma segura de removê-la é retreinar o modelo sem os dados, o que, para um modelo grande, pode custar milhões de dólares.
O desaprendizado de máquina é a busca por um caminho mais barato: modificar o modelo existente para que ele se comporte como se nunca tivesse visto os dados.
Exato versus aproximado
O desaprendizado exato garante que o resultado seja igual ao de um retreinamento. A abordagem mais conhecida, SISA, divide os dados de treinamento em fragmentos (shards) e treina um submodelo separado em cada um, de modo que apagar um dado significa retreinar apenas um fragmento. Funciona para modelos menores, mas não combina com a forma como os LLMs são treinados.
O desaprendizado aproximado edita diretamente o modelo treinado. Métodos comuns:
- Subida de gradiente: roda o treinamento ao contrário sobre os dados a esquecer, aumentando a perda neles, em geral equilibrado com treinamento normal sobre os dados a manter.
- Alvos substitutos: faz fine-tuning do modelo para que ele dê respostas genéricas ou do tipo "não sei" sobre o tema esquecido. Pesquisadores da Microsoft usaram uma versão disso em 2023 para fazer um modelo Llama esquecer em grande parte os livros de Harry Potter.
- Métodos de representação: embaralham as ativações internas do modelo sobre o tema-alvo para que ele não consiga raciocinar sobre ele, como no método RMU.
Ele esquece mesmo?
Este é o ponto fraco. As pesquisas continuam mostrando que o desaprendizado aproximado muitas vezes esconde o conhecimento em vez de apagá-lo:
- Um pouco de fine-tuning com dados relacionados pode trazer de volta o conhecimento "esquecido".
- Jailbreaks e perguntas reformuladas conseguem extraí-lo.
- Um estudo de 2024 mostrou que simplesmente quantizar um modelo que passou por desaprendizado restaurava boa parte do que ele deveria ter perdido.
- O desaprendizado também causa danos colaterais: o modelo piora em temas próximos que deveria manter.
Benchmarks como TOFU (perfis de autores fictícios), WMDP (conhecimento perigoso) e MUSE testam tanto o esquecimento quanto a capacidade preservada, e nenhum método vai bem em tudo.
Desaprendizado versus ideias relacionadas
- Knowledge editing muda um fato específico ("o CEO agora é X"). O desaprendizado remove.
- Privacidade diferencial limita o que um modelo pode memorizar sobre qualquer indivíduo durante o treinamento, prevenindo o problema na origem.
- Filtros de saída e salvaguardas impedem o modelo de dizer algo sem mudar o que ele sabe.
Conselhos práticos
Se os dados podem precisar ser apagados depois, o desenho mais confiável é mantê-los fora dos pesos. Filtre os dados de treinamento antes de treinar e sirva informações mutáveis ou sensíveis via RAG, em que apagar um documento realmente o apaga. Trate os métodos de desaprendizado atuais como redução de risco, não como garantia, e teste-os de forma adversarial antes de confiar neles.