मापता है कि भविष्यवाणियाँ कितनी गलत हैं। LLM के लिए: cross-entropy loss = वास्तविक अगले टोकन से कितना आश्चर्य हुआ। प्रशिक्षण इसे न्यूनतम करता है।
यह क्यों मायने रखता है
प्रशिक्षण का कम्पास। Loss को समझना प्रशिक्षण curves की व्याख्या करने और समस्याओं का निदान करने में मदद करता है।
गहन अध्ययन
Cross-entropy: −log(P(correct token))। Perplexity = exp(loss)। Loss ही सब कुछ नहीं है: aligned मॉडल का loss अधिक हो सकता है लेकिन वे अधिक उपयोगी होते हैं।