Interpretabilidade
Por que isso importa
As pessoas precisam confiar nos sistemas de IA, depurá-los e governá-los. Uma médica revisando um diagnóstico assistido por IA, um banco explicando uma decisão de crédito a um regulador ou um engenheiro tentando descobrir por que um modelo falha em certas entradas precisam de algum relato do raciocínio do modelo. As leis pedem isso cada vez mais: a Lei de IA da União Europeia estabelece requisitos de transparência para sistemas de alto risco, e muitas regras financeiras e de saúde já exigem explicações para decisões automatizadas.
Para a segurança de IA, a interpretabilidade é vista como uma das poucas formas de verificar o que um modelo realmente está fazendo, e não só o que ele diz. Se um modelo pudesse enganar quem o testa, olhar apenas para as saídas não bastaria.
Em profundidade
As redes neurais modernas costumam ser chamadas de caixas-pretas. Conhecemos as entradas e as saídas e conseguimos ver cada um de seus bilhões de números, mas não é fácil dizer por que um modelo deu uma resposta específica. Interpretabilidade é o termo geral para os métodos que tentam abrir a caixa.
Ela abrange duas grandes tradições. A explicabilidade (muitas vezes chamada de XAI) se concentra em explicar decisões individuais em termos humanos, por exemplo quais fatores pesaram mais na recusa de um empréstimo. A interpretabilidade mecanicista, que tem uma entrada própria, tenta fazer engenharia reversa dos algoritmos internos que um modelo aprendeu.
Explicando decisões
Os métodos clássicos de explicabilidade trabalham de fora:
- Atribuição de features: métodos como SHAP e LIME estimam quanto cada feature de entrada contribuiu para uma previsão.
- Mapas de saliência: destacam quais pixels de uma imagem mais influenciaram um classificador.
- Contrafactuais: "o empréstimo teria sido aprovado se a renda fosse 10% maior".
- Modelos interpretáveis por construção: árvores de decisão e modelos lineares cuja lógica pode ser lida diretamente, às vezes preferidos em contextos de alto risco mesmo com alguma perda de precisão.
Olhando por dentro
Os métodos para redes neurais, e principalmente para LLMs, examinam as ativações internas:
- Sondagem (probing): treinar um classificador simples sobre os estados ocultos de um modelo para verificar se ele representa algum conceito, como veracidade ou o sentimento de uma frase.
- Autoencoders esparsos: decompõem as ativações em milhões de "features" interpretáveis. O trabalho da Anthropic com o Claude em 2024 encontrou features para conceitos que iam da ponte Golden Gate a bugs de código, e mostrou que amplificar uma feature muda o comportamento do modelo.
- Rastreamento de circuitos: mapear como as features se conectam entre as camadas para produzir uma resposta, por exemplo mostrar um modelo planejando uma rima antes de escrever o verso.
- Direcionamento (steering): acrescentar ou remover direções no espaço de ativações para mudar o comportamento, o que testa a compreensão e ainda oferece uma ferramenta de controle.
Lendo o raciocínio do modelo
Os modelos de raciocínio produzem uma cadeia de pensamento antes de responder. Lê-la é uma janela útil, ainda que parcial, para o processo deles. Mas a pesquisa mostra que uma cadeia de pensamento nem sempre é fiel: os modelos às vezes dão razões que não correspondem ao que de fato motivou a resposta. Trate-a como evidência, não como prova.
Limites
Explicações podem enganar se forem simplificadas demais, e os métodos de atribuição às vezes discordam entre si. Os métodos internos avançaram rápido, mas ainda explicam só uma fração do que os modelos grandes calculam. A interpretabilidade é uma caixa de ferramentas em crescimento, ainda não uma compreensão completa.