Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › Interpretabilidade
Segurança

Interpretabilidade

Também conhecido como: Explicabilidade, IA explicável
O esforço para entender por que um modelo de IA produz as saídas que produz, explicando suas decisões ou examinando seu funcionamento interno.

Por que isso importa

As pessoas precisam confiar nos sistemas de IA, depurá-los e governá-los. Uma médica revisando um diagnóstico assistido por IA, um banco explicando uma decisão de crédito a um regulador ou um engenheiro tentando descobrir por que um modelo falha em certas entradas precisam de algum relato do raciocínio do modelo. As leis pedem isso cada vez mais: a Lei de IA da União Europeia estabelece requisitos de transparência para sistemas de alto risco, e muitas regras financeiras e de saúde já exigem explicações para decisões automatizadas.

Para a segurança de IA, a interpretabilidade é vista como uma das poucas formas de verificar o que um modelo realmente está fazendo, e não só o que ele diz. Se um modelo pudesse enganar quem o testa, olhar apenas para as saídas não bastaria.

Em profundidade

As redes neurais modernas costumam ser chamadas de caixas-pretas. Conhecemos as entradas e as saídas e conseguimos ver cada um de seus bilhões de números, mas não é fácil dizer por que um modelo deu uma resposta específica. Interpretabilidade é o termo geral para os métodos que tentam abrir a caixa.

Ela abrange duas grandes tradições. A explicabilidade (muitas vezes chamada de XAI) se concentra em explicar decisões individuais em termos humanos, por exemplo quais fatores pesaram mais na recusa de um empréstimo. A interpretabilidade mecanicista, que tem uma entrada própria, tenta fazer engenharia reversa dos algoritmos internos que um modelo aprendeu.

Explicando decisões

Os métodos clássicos de explicabilidade trabalham de fora:

  • Atribuição de features: métodos como SHAP e LIME estimam quanto cada feature de entrada contribuiu para uma previsão.
  • Mapas de saliência: destacam quais pixels de uma imagem mais influenciaram um classificador.
  • Contrafactuais: "o empréstimo teria sido aprovado se a renda fosse 10% maior".
  • Modelos interpretáveis por construção: árvores de decisão e modelos lineares cuja lógica pode ser lida diretamente, às vezes preferidos em contextos de alto risco mesmo com alguma perda de precisão.

Olhando por dentro

Os métodos para redes neurais, e principalmente para LLMs, examinam as ativações internas:

  • Sondagem (probing): treinar um classificador simples sobre os estados ocultos de um modelo para verificar se ele representa algum conceito, como veracidade ou o sentimento de uma frase.
  • Autoencoders esparsos: decompõem as ativações em milhões de "features" interpretáveis. O trabalho da Anthropic com o Claude em 2024 encontrou features para conceitos que iam da ponte Golden Gate a bugs de código, e mostrou que amplificar uma feature muda o comportamento do modelo.
  • Rastreamento de circuitos: mapear como as features se conectam entre as camadas para produzir uma resposta, por exemplo mostrar um modelo planejando uma rima antes de escrever o verso.
  • Direcionamento (steering): acrescentar ou remover direções no espaço de ativações para mudar o comportamento, o que testa a compreensão e ainda oferece uma ferramenta de controle.

Lendo o raciocínio do modelo

Os modelos de raciocínio produzem uma cadeia de pensamento antes de responder. Lê-la é uma janela útil, ainda que parcial, para o processo deles. Mas a pesquisa mostra que uma cadeia de pensamento nem sempre é fiel: os modelos às vezes dão razões que não correspondem ao que de fato motivou a resposta. Trate-a como evidência, não como prova.

Limites

Explicações podem enganar se forem simplificadas demais, e os métodos de atribuição às vezes discordam entre si. Os métodos internos avançaram rápido, mas ainda explicam só uma fração do que os modelos grandes calculam. A interpretabilidade é uma caixa de ferramentas em crescimento, ainda não uma compreensão completa.

← Todos os termos
ESC