मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Cross-Entropy
मूल तत्व

Cross-Entropy

इसे भी कहा जाता है: Cross-Entropy Loss, Log Loss, Negative Log-Likelihood
वह loss function जिस पर लगभग हर language model train होता है, और जो model को इस आधार पर सज़ा देता है कि उसने सही जवाब को कितनी कम probability दी।

यह क्यों मायने रखता है

जब आप कोई training run देखते हैं और "loss: 2.31" दिखता है, तो वह संख्या लगभग हमेशा cross-entropy होती है। Pre-training और supervised fine-tuning इसी मात्रा को नीचे धकेलते हैं, और overfitting व underfitting पहचानने का यही मुख्य signal है।

यह model के व्यवहार को भी समझाता है। चूँकि log पूरे भरोसे के साथ की गई गलतियों को कड़ी सज़ा देता है, models सब कुछ एक विकल्प पर दाँव लगाने की जगह probability को संभावित विकल्पों में बाँटना सीखते हैं। यही calibrated uncertainty sampling, temperature और top-p को काम करने लायक बनाती है।

गहन अध्ययन

Language model एक शब्द output नहीं करता। वह अपनी vocabulary के हर token के लिए एक probability output करता है। Cross-entropy एक ही सवाल पूछकर इसे एक score में बदल देता है: जो token असल में आगे आया, उस पर आपने कितनी probability रखी थी? Loss उसी probability का negative logarithm है। सही token को 1 probability दीजिए तो loss 0 है। 0.5 दीजिए तो loss करीब 0.69 है। 0.01 दीजिए तो loss 4.6 है।

इसका अरबों tokens पर औसत निकालिए, और यही GPT, Claude, Llama और लगभग हर दूसरे LLM का training objective है।

संख्या को पढ़ना

Cross-entropy को nats (natural log) या bits (log base 2) में नापा जाता है। कुछ संदर्भ बिंदु मदद करते हैं:

  • 50,000 tokens की vocabulary पर एकसमान अंदाज़ा लगाने वाले model का loss ln(50,000) ≈ 10.8 होता है।
  • 2.0 के loss का मतलब है कि model सही token को औसतन करीब 13.5% probability देता है (e⁻²)।
  • Perplexity बस e की घात loss है। 2.0 का loss करीब 7.4 की perplexity है: model उतना ही अनिश्चित है जितना वह लगभग 7 बराबर संभावना वाले tokens में से चुनते समय होता।

असली text पर loss कभी शून्य तक नहीं पहुँच सकता, क्योंकि भाषा का अनुमान पूरी तरह नहीं लगाया जा सकता। कोई पक्के तौर पर नहीं जान सकता कि अगला शब्द कौन-सा होगा।

यही loss क्यों

Cross-entropy को कम से कम करना training data की likelihood को ज़्यादा से ज़्यादा करने के बराबर है, और यह सिद्धांत statisticians एक सदी से इस्तेमाल कर रहे हैं। यह softmax के साथ भी बढ़िया बैठता है: logits के हिसाब से gradient बस predicted probabilities में से सही जवाब घटाने पर मिल जाता है, जो सस्ता और numerically stable है। इसीलिए frameworks दोनों को एक ही function में मिला देते हैं जो raw logits लेता है।

रूपांतर

  • Binary cross-entropy: दो classes वाला रूप, जो हाँ/ना classifiers और multi-label समस्याओं में इस्तेमाल होता है।
  • Label smoothing: सख्त target की जगह थोड़ा नरम target रखता है (मान लीजिए सही जवाब पर 90%), ताकि overconfidence घटे।
  • KL divergence: एक करीबी रिश्तेदार, जो दो distributions के बीच का अंतर नापता है। Distillation इसी तरह student को teacher की पूरी output distribution से मेल खाना सिखाता है।
  • Masking: fine-tuning में loss आम तौर पर सिर्फ़ response tokens पर compute होता है, prompt पर नहीं।

यह क्या नहीं नापता

कम cross-entropy का मतलब है next-token prediction बेहतर है, ज़रूरी नहीं कि model ज़्यादा मददगार या ज़्यादा सच्चा हो। लगभग एक जैसे loss वाले दो models बातचीत में बहुत अलग व्यवहार कर सकते हैं। इसीलिए loss curves के साथ task evaluations और human review भी देखे जाते हैं, और training के बाद वाले चरण इसकी जगह preference या reward signals इस्तेमाल करते हैं।

← सभी शब्द
ESC