Bias-Variance Tradeoff
यह क्यों मायने रखता है
Bias-variance tradeoff ज़्यादातर व्यावहारिक training फ़ैसलों के पीछे का mental model है: कितना बड़ा model लें, कितनी regularization जोड़ें, कितनी देर train करें और क्या ज़्यादा data से मदद मिलेगी। अगर model में bias ज़्यादा है, तो ज़्यादा data उसे ठीक नहीं करेगा, ज़्यादा capacity करेगी। अगर variance ज़्यादा है, तो ज़्यादा data, regularization या सरल models मदद करेंगे।
यह भी समझ आता है कि ensembles क्यों काम करते हैं। कई high-variance models का औसत लेने से (जैसा random forests करते हैं) उनका अलग-अलग noise काफ़ी हद तक कट जाता है और उनका कम bias बना रहता है।
गहन अध्ययन
हर prediction error को तीन हिस्सों में बाँटा जा सकता है। Bias गलत मान्यताओं से आने वाली error है: model इतना कठोर है कि असली pattern को दर्शा नहीं सकता, जैसे वक्र पर सीधी रेखा fit करना। Variance किसी खास training data के प्रति ज़रूरत से ज़्यादा संवेदनशील होने से आने वाली error है: model को थोड़े अलग sample पर train कीजिए और predictions बहुत बदल जाती हैं। Irreducible noise data की वह randomness है जिसे कोई model नहीं हटा सकता।
Tradeoff यह है कि classic machine learning में एक को घटाने पर दूसरा अक्सर बढ़ जाता है। सरल models में bias ज़्यादा और variance कम होता है (वे underfit करते हैं)। जटिल models में bias कम और variance ज़्यादा होता है (वे overfit करते हैं)। लक्ष्य इन दोनों के बीच का सही बिंदु ढूँढना है।
ध्यान रखिए कि यहाँ "bias" एक statistical शब्द है। इसका AI में सामाजिक या नैतिक bias से कोई संबंध नहीं है, जिसे wiki में Bias के तहत अलग से समझाया गया है।
Dartboard वाली तस्वीर
सोचिए कि आप darts फेंक रहे हैं। कम bias, कम variance: सारे darts bullseye पर एक साथ। ज़्यादा bias, कम variance: सारे एक साथ, पर एक तरफ़ हटे हुए, यानी आप हर बार एक ही तरह से गलत हैं। कम bias, ज़्यादा variance: औसतन केंद्र पर, पर हर जगह बिखरे हुए। ज़्यादा bias, ज़्यादा variance: बिखरे हुए भी और केंद्र से हटे हुए भी। Model को train करना अपने throw को सुधारने जैसा है, और हर फ़ैसला आपको इन स्थितियों के बीच खिसकाता है।
व्यवहार में पहचान
- ज़्यादा bias (underfitting): training error ऊँची है और validation error भी लगभग उतनी ही है।
- ज़्यादा variance (overfitting): training error कम है, लेकिन validation error काफ़ी ज़्यादा है।
Cross-validation यहाँ काम आता है: अगर folds के बीच scores बहुत डोलते हैं, तो variance समस्या है।
Deep learning ने नियम को मोड़ दिया
Modern neural networks ने इस classic कहानी को उलझा दिया। Researchers ने double descent पाया: जब आप model को उस बिंदु के पार बढ़ाते जाते हैं जहाँ वह training data रट सकता है, तो test error पहले बिगड़ती है और फिर दोबारा सुधरने लगती है। बहुत बड़े, भारी overparameterized networks में सब कुछ रट लेने की capacity होती है, फिर भी वे अक्सर अच्छा generalize करते हैं। इसकी एक वजह implicit regularization है: data को fit करने वाले ढेरों solutions में से gradient descent अक्सर सरल solutions ढूँढ लेता है।
इसीलिए LLMs के scaling laws किताबों वाले U-curve से इतने अलग दिखते हैं। विशाल और शायद ही कभी दोहराए जाने वाले datasets पर train हुए बड़े models के लिए आमतौर पर बड़ा ही बेहतर है, और मुख्य खतरा overfitting नहीं बल्कि undertraining (bias) है।
जहाँ classic tradeoff अब भी काटता है
Data कम हो तो किताबों वाला tradeoff पूरी तरह ज़िंदा है: tabular problems, कुछ सौ examples पर fine-tuning या niche classifiers। ऐसी स्थितियों में छोटा model, तगड़ी regularization या कोई सरल baseline अक्सर बड़े network को हरा देता है। कुछ बड़ा उठाने से पहले हमेशा baseline से तुलना कीजिए।