Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › Entropia cruzada
Fundamentos

Entropia cruzada

Também conhecido como: Cross-Entropy, Perda de entropia cruzada, Log Loss, Log-verossimilhança negativa
A função de perda com que quase todo modelo de linguagem é treinado, que penaliza o modelo conforme a pouca probabilidade que ele deu à resposta correta.

Por que isso importa

Quando você acompanha um treinamento e vê "loss: 2.31", esse número quase sempre é entropia cruzada. É a quantidade que o pré-treinamento e o fine-tuning supervisionado empurram para baixo, e o principal sinal para diagnosticar overfitting e underfitting.

Ela também explica o comportamento dos modelos. Como o logaritmo pune com severidade os erros cometidos com muita confiança, os modelos aprendem a distribuir a probabilidade entre opções plausíveis em vez de apostar tudo em uma só. Essa incerteza calibrada é o que faz a amostragem, a temperatura e o top-p funcionarem.

Em profundidade

Um modelo de linguagem não produz uma única palavra. Ele produz uma probabilidade para cada token do vocabulário. A entropia cruzada transforma isso em uma única pontuação fazendo uma só pergunta: quanta probabilidade você colocou no token que realmente veio em seguida? A perda é o logaritmo negativo dessa probabilidade. Dê ao token certo probabilidade 1 e a perda é 0. Dê 0,5 e a perda é cerca de 0,69. Dê 0,01 e a perda é 4,6.

Tire a média disso em bilhões de tokens e você tem o objetivo de treinamento do GPT, do Claude, do Llama e de praticamente todos os outros LLMs.

Lendo o número

A entropia cruzada é medida em nats (logaritmo natural) ou em bits (logaritmo na base 2). Algumas referências ajudam:

  • Um modelo que chuta uniformemente em um vocabulário de 50.000 tokens tem perda de ln(50.000) ≈ 10,8.
  • Uma perda de 2,0 significa que o modelo dá ao token correto cerca de 13,5% de probabilidade em média (e⁻²).
  • A perplexidade é simplesmente e elevado à perda. Uma perda de 2,0 equivale a uma perplexidade de cerca de 7,4: o modelo está tão incerto quanto se escolhesse entre uns 7 tokens igualmente prováveis.

A perda nunca chega a zero em texto real, porque a linguagem é imprevisível. Ninguém consegue saber com certeza qual palavra vem a seguir.

Por que essa perda

Minimizar a entropia cruzada é o mesmo que maximizar a verossimilhança dos dados de treinamento, um princípio que os estatísticos usam há um século. Ela também combina muito bem com o softmax: o gradiente em relação aos logits é simplesmente as probabilidades previstas menos a resposta verdadeira, o que é barato e numericamente estável. É por isso que os frameworks juntam os dois em uma única função que recebe os logits brutos.

Variações

  • Entropia cruzada binária: a versão de duas classes, usada em classificadores de sim/não e em problemas multirrótulo.
  • Label smoothing: troca o alvo rígido por um levemente suavizado (digamos, 90% na resposta certa) para reduzir o excesso de confiança.
  • Divergência KL: uma parente próxima que mede a diferença entre duas distribuições. A destilação treina assim um modelo aluno para reproduzir toda a distribuição de saída de um modelo professor.
  • Mascaramento: no fine-tuning, a perda costuma ser calculada apenas sobre os tokens da resposta, não sobre o prompt.

O que ela não mede

Uma entropia cruzada mais baixa significa uma previsão melhor do próximo token, não necessariamente um modelo mais útil ou mais verdadeiro. Dois modelos com perda parecida podem se comportar de formas muito diferentes em uma conversa. É por isso que as curvas de perda são acompanhadas de avaliações por tarefa e de revisão humana, e que as etapas posteriores do treinamento usam sinais de preferência ou de recompensa no lugar.

← Todos os termos
ESC