Regularization
यह क्यों मायने रखता है
Regularization overfitting के खिलाफ़ मुख्य हथियार है। इसके बिना, छोटे या मध्यम आकार के datasets पर train हुए deep networks अक्सर training data को पूरी तरह सीख लेते हैं और बाकी हर चीज़ पर बुरी तरह नाकाम रहते हैं। लगभग हर training recipe किसी न किसी रूप में regularization इस्तेमाल करती है। Fine-tuning configs में दिखने वाले weight_decay, dropout और lora_dropout सब regularization ही हैं।
यह एक knob है, switch नहीं। बहुत कम हो तो model overfit करता है। बहुत ज़्यादा हो तो model underfit करता है। Regularization की मात्रा tune करना व्यवहार में सबसे आम hyperparameter कामों में से एक है।
गहन अध्ययन
जिस model में पर्याप्त capacity हो, वह training set को उसके noise और संयोग से आई बातों समेत रट सकता है। Regularization एक व्यापक शब्द है, जिसमें वह सब आता है जो हम इसे रोकने और model को सरल, ज़्यादा general solutions की ओर धकेलने के लिए करते हैं। कुछ techniques loss में penalty जोड़ती हैं, कुछ noise डालती हैं, कुछ training प्रक्रिया पर रोक लगाती हैं, और कुछ बस model को ज़्यादा विविध data दिखाती हैं।
यह विचार machine learning से भी पुराने एक सिद्धांत से आता है: जब दो व्याख्याएँ तथ्यों पर खरी उतरें, तो सरल वाली चुनिए।
Penalty आधारित: L2 और L1
L2 regularization weights के आकार के वर्ग के अनुपात में penalty जोड़ता है और weights को छोटे मानों की ओर धकेलता है। बड़े weights का मतलब है कि model input के छोटे बदलावों पर तेज़ प्रतिक्रिया देता है, जो रटने की खास निशानी है। L1 regularization weights के absolute मान पर penalty लगाता है और कई weights को ठीक शून्य कर देता है, जिससे sparse model मिलता है।
Weight decay modern deep learning में इसका आम रूप है: हर step पर weights को थोड़ा-सा शून्य की ओर सिकोड़ा जाता है। साधारण SGD में यह L2 के बराबर है, लेकिन Adam में नहीं। इसीलिए AdamW weight decay को gradient update से अलग रखता है। AdamW के साथ 0.01 से 0.1 के आसपास weight decay ज़्यादातर transformer training का default है।
Noise आधारित: dropout और उसके जैसे तरीके
Dropout training के दौरान कुछ neurons को random तरीके से बंद कर देता है, ताकि network किसी एक रास्ते पर निर्भर न रह सके। इससे मिलती-जुलती तरकीबों में stochastic depth (पूरी layers को random तरीके से छोड़ना) और label smoothing (model को बताना कि सही जवाब 100% नहीं, 90% संभावित है, ताकि वह ज़रूरत से ज़्यादा confident न हो) शामिल हैं। बड़े LLM की pre-training में dropout बहुत कम या बिल्कुल नहीं होता, क्योंकि खरबों tokens के बीच model शायद ही कभी एक ही example दोबारा देखता है, और वहाँ overfitting मुख्य समस्या नहीं है।
Data और प्रक्रिया आधारित
Data augmentation training examples के अलग-अलग रूप बनाता है (crop, flip, paraphrase), ताकि model सीखे कि क्या मायने नहीं रखता। Early stopping validation loss में सुधार रुकते ही training रोक देता है। छोटा batch size चुनने का भी हल्का regularizing असर होता है, क्योंकि ज़्यादा noisy gradients model को तीखे और ज़रूरत से ज़्यादा विशिष्ट solutions में फँसने से बचाते हैं।
Fine-tuning में regularization
बड़े model को छोटे dataset पर fine-tune करना वह स्थिति है जहाँ builders को regularization की सबसे ज़्यादा ज़रूरत पड़ती है। LoRA जैसी parameter-efficient विधियाँ खुद एक तरह की regularization हैं: सिर्फ़ low-rank बदलाव की इजाज़त देकर वे सीमित कर देती हैं कि model कितना दूर भटक सकता है। व्यावहारिक defaults ये हैं: epochs कम रखिए (अक्सर 1 से 3), learning rate मध्यम रखिए और एक validation set हमेशा अलग रखिए।