Zubnet AIसीखेंWiki › Cross-Validation
प्रशिक्षण

Cross-Validation

इसे भी कहा जाता है: K-Fold CV, Leave-One-Out
जब आपके पास अलग test set के लिए पर्याप्त डेटा नहीं होता, तब मॉडल प्रदर्शन का मूल्यांकन करने की तकनीक। K-fold cross-validation डेटा को K बराबर भागों में विभाजित करता है, K−1 भागों पर प्रशिक्षित करता है और शेष भाग पर मूल्यांकन करता है, K बार घुमाता है ताकि हर data point का उपयोग प्रशिक्षण और मूल्यांकन दोनों के लिए हो। सभी K folds में औसत score एक अकेले train/test split की तुलना में अधिक विश्वसनीय प्रदर्शन अनुमान देता है।

यह क्यों मायने रखता है

Cross-validation तब आवश्यक है जब डेटा दुर्लभ हो — यदि आपके पास केवल 500 उदाहरण हैं, तो testing के लिए 100 अलग रखने का मतलब 20% कम डेटा पर प्रशिक्षण है। Cross-validation सभी डेटा का उपयोग प्रशिक्षण और मूल्यांकन दोनों के लिए करता है। यह आपको एकल संख्या के बजाय confidence interval (folds में variance) भी देता है, जो बताता है कि आपके मॉडल का प्रदर्शन कितना स्थिर है।

गहन अध्ययन

5-fold CV: डेटा को 5 भागों में विभाजित करें। भाग 1-4 पर प्रशिक्षित करें, भाग 5 पर मूल्यांकन करें। फिर भाग 1-3+5 पर प्रशिक्षित करें, भाग 4 पर मूल्यांकन करें। सभी 5 folds के लिए दोहराएँ। 5 मूल्यांकन scores का औसत लें। परिणाम एकल 80/20 split की तुलना में अधिक विश्वसनीय है क्योंकि यह विशेष split के प्रति मज़बूत है — एक "भाग्यशाली" या "दुर्भाग्यशाली" test set परिणाम को तिरछा नहीं कर सकता। Folds में मानक विचलन विश्वसनीयता इंगित करता है।

Stratified K-Fold

असंतुलित classes वाले classification के लिए (दुर्लभ बीमारी: 5% positive, 95% negative), random splitting सभी positives को एक fold में डाल सकता है। Stratified K-fold सुनिश्चित करता है कि प्रत्येक fold में पूर्ण dataset के समान class distribution हो। यह बिना positive उदाहरणों वाले folds (मूल्यांकन के लिए बेकार) को रोकता है और minority classes के लिए अधिक विश्वसनीय प्रदर्शन अनुमान देता है। Classification के लिए हमेशा stratified K-fold का उपयोग करें।

कब उपयोग न करें

Cross-validation कम्प्यूटेशनल रूप से महँगा है (प्रशिक्षण लागत का K गुना) और बड़े मॉडलों के लिए शायद ही कभी उपयोग किया जाता है। 5-fold CV के लिए 7B मॉडल को 5 बार fine-tune करना अव्यावहारिक है। LLMs के लिए, एकल held-out validation set मानक है क्योंकि: datasets विश्वसनीय single-split मूल्यांकन के लिए पर्याप्त बड़े हैं, प्रशिक्षण महँगा है, और मॉडल के pre-trained representations इसे विशिष्ट प्रशिक्षण split के प्रति कम संवेदनशील बनाते हैं। Cross-validation छोटे datasets के साथ classical ML मॉडलों के लिए सबसे मूल्यवान है।

संबंधित अवधारणाएँ

← सभी शब्द
← Cross Attention Curriculum Learning →
ESC