Cross-Validation

यह क्यों मायने रखता है

गहन अध्ययन

5-fold CV: डेटा को 5 भागों में विभाजित करें। भाग 1-4 पर प्रशिक्षित करें, भाग 5 पर मूल्यांकन करें। फिर भाग 1-3+5 पर प्रशिक्षित करें, भाग 4 पर मूल्यांकन करें। सभी 5 folds के लिए दोहराएँ। 5 मूल्यांकन scores का औसत लें। परिणाम एकल 80/20 split की तुलना में अधिक विश्वसनीय है क्योंकि यह विशेष split के प्रति मज़बूत है — एक "भाग्यशाली" या "दुर्भाग्यशाली" test set परिणाम को तिरछा नहीं कर सकता। Folds में मानक विचलन विश्वसनीयता इंगित करता है।

Stratified K-Fold

असंतुलित classes वाले classification के लिए (दुर्लभ बीमारी: 5% positive, 95% negative), random splitting सभी positives को एक fold में डाल सकता है। Stratified K-fold सुनिश्चित करता है कि प्रत्येक fold में पूर्ण dataset के समान class distribution हो। यह बिना positive उदाहरणों वाले folds (मूल्यांकन के लिए बेकार) को रोकता है और minority classes के लिए अधिक विश्वसनीय प्रदर्शन अनुमान देता है। Classification के लिए हमेशा stratified K-fold का उपयोग करें।

कब उपयोग न करें

Cross-validation कम्प्यूटेशनल रूप से महँगा है (प्रशिक्षण लागत का K गुना) और बड़े मॉडलों के लिए शायद ही कभी उपयोग किया जाता है। 5-fold CV के लिए 7B मॉडल को 5 बार fine-tune करना अव्यावहारिक है। LLMs के लिए, एकल held-out validation set मानक है क्योंकि: datasets विश्वसनीय single-split मूल्यांकन के लिए पर्याप्त बड़े हैं, प्रशिक्षण महँगा है, और मॉडल के pre-trained representations इसे विशिष्ट प्रशिक्षण split के प्रति कम संवेदनशील बनाते हैं। Cross-validation छोटे datasets के साथ classical ML मॉडलों के लिए सबसे मूल्यवान है।

संबंधित अवधारणाएँ