Underfitting
यह क्यों मायने रखता है
Underfitting और overfitting में फ़र्क करना machine learning की सबसे उपयोगी diagnostic क्षमताओं में से एक है, क्योंकि दोनों के इलाज उलटी दिशाओं में हैं। Overfitting को कम capacity, ज़्यादा regularization या ज़्यादा data चाहिए। Underfitting को ज़्यादा capacity, लंबी training या कम regularization चाहिए। गलत इलाज लगाने से हालत और बिगड़ती है।
LLM के दौर में underfitting का मतलब अक्सर undertraining होता है, model का बहुत छोटा होना नहीं। Chinchilla research ने दिखाया कि उस समय के कई बड़े models अपने आकार के हिसाब से बहुत कम tokens पर train हुए थे। वे underfit थे और ज़्यादा data पर train हुए छोटे models उनसे आगे निकल गए। आज छोटे models को अक्सर जान-बूझकर "compute-optimal" बिंदु से कहीं आगे तक train किया जाता है, ताकि बची-खुची underfitting भी निकल जाए।
गहन अध्ययन
सबसे ज़्यादा चर्चा overfitting की होती है, लेकिन उसका उलटा भी उतना ही आम है। Underfit model ने पर्याप्त नहीं सीखा होता: training loss ऊँचा रहता है, validation loss भी ऊँचा रहता है, और दोनों एक-दूसरे के करीब होते हैं। यह उस छात्र जैसा है जिसने किताब बस एक बार पलटी है। वह practice के सवालों में भी कमज़ोर रहता है और परीक्षा में भी, क्योंकि उसने विषय को कभी ठीक से समझा ही नहीं।
Classic उदाहरण है साफ़ तौर पर मुड़े हुए data पर सीधी रेखा fit करना। कितना भी data जोड़ लीजिए, फ़ायदा नहीं होगा, क्योंकि सीधी रेखा वक्र को दर्शा ही नहीं सकती।
इसे कैसे पहचानें
Loss curves देखिए:
- Underfitting: training loss और validation loss दोनों ऊँचे और एक-दूसरे के करीब होते हैं। Training रुकने के समय हो सकता है कि वे अब भी गिर रहे हों।
- Overfitting: training loss गिरता रहता है, validation loss ठहर जाता है या बढ़ने लगता है, और दोनों के बीच का अंतर बढ़ता जाता है।
- अच्छा fit: दोनों कम होते हैं और अंतर छोटा होता है।
अगर training loss ही खराब है, तो model उस data को भी fit नहीं कर पा रहा जो उसने देखा है। यही underfitting है, और ज़्यादा data इसे ठीक नहीं करेगा।
आम कारण
- Capacity बहुत कम: काम की जटिलता के लिए parameters या layers कम पड़ते हैं।
- Training बहुत कम: training बहुत जल्दी रोक दी गई, या learning rate इतना छोटा है कि model लगभग हिलता ही नहीं।
- Regularization बहुत ज़्यादा: भारी dropout या weight decay model को असली patterns सीखने से रोक सकता है।
- कमज़ोर features या खराब inputs: अगर काम हल करने के लिए ज़रूरी जानकारी input में है ही नहीं, तो कोई model उसे नहीं सीख सकता।
- Bugs: shuffle हो चुके labels, टूटी हुई data pipeline या कोई frozen layer, ये सब बिल्कुल underfitting जैसे दिखते हैं। पहले इन्हें जाँचिए।
इलाज
ज़्यादा देर train कीजिए, learning rate (सावधानी से) बढ़ाइए, बड़ा model लीजिए, regularization घटाइए या inputs बेहतर कीजिए। Fine-tuning में बहुत छोटा LoRA rank या बहुत कम training steps underfitting करा सकते हैं: model का व्यवहार लगभग बदलता ही नहीं। एक अच्छा तरीका यह है कि पहले model को जान-बूझकर data के एक छोटे हिस्से पर overfit कराइए। अगर वह 100 examples भी याद नहीं कर पाता, तो आपके setup में कुछ टूटा हुआ है।
Fine-tuning में underfitting
जब लोग कहते हैं कि fine-tune "काम नहीं आया", तो आमतौर पर model नए काम पर underfit हुआ होता है। इसके लक्षण हैं कि outputs target format का पालन नहीं करते, या अब भी मूल base model जैसे ही लगते हैं। ज़्यादा data जोड़ने की सोचने से पहले देखिए कि learning rate और epochs ठीक हैं या नहीं, और loss सिर्फ़ उसी हिस्से पर निकाला जा रहा है या नहीं जो आप model को सिखाना चाहते हैं।