Vanishing Gradients
यह क्यों मायने रखता है
Modern architecture का बड़ा हिस्सा इसी एक समस्या को सुलझाने के लिए बना है। ReLU activations, सावधानी से किया गया weight initialization, normalization layers, residual connections, LSTMs और gradient clipping, ये सब कम से कम आंशिक रूप से इसी के जवाब थे। Vanishing gradients को समझ लेने से यह भी समझ आता है कि transformer block वैसा क्यों दिखता है जैसा दिखता है।
यह आज भी एक व्यावहारिक समस्या है। जब कोई training run सपाट loss के साथ अटक जाए, या कुछ सौ steps के बाद NaN देकर बंद हो जाए, तो gradient की समस्याएँ सबसे पहले शक के घेरे में आती हैं।
गहन अध्ययन
Neural networks backpropagation से सीखते हैं: output की error layer दर layer पीछे भेजी जाती है और हर weight को बताती है कि उसे कैसे बदलना है। हर layer पर signal उस layer के local derivatives से गुणा होता है। 1 से छोटी कई संख्याओं को गुणा कीजिए तो नतीजा शून्य की ओर चला जाता है; शुरुआती layers को लगभग कोई signal नहीं मिलता और वे सीखना बंद कर देती हैं। यही vanishing gradient की समस्या है। 1 से बड़ी कई संख्याओं को गुणा कीजिए तो signal बेहिसाब बढ़ता है, weights बुरी तरह उछलते हैं और loss NaN बन जाता है। यही exploding gradient की समस्या है।
दोनों गहराई के साथ बिगड़ती हैं, और बरसों तक यही सबसे बड़ा कारण रहीं कि deep networks काम नहीं करते थे।
यह कहाँ से आती है
इस समस्या को 1990 के दशक की शुरुआत में Sepp Hochreiter और दूसरों ने पहचाना, मुख्य रूप से recurrent networks में। RNN हर time step पर वही weights लगाता है, इसलिए 100 steps में backpropagate करना 100 layers से गुज़रने जैसा है। पुराने activation functions इसे और बिगाड़ते थे: sigmoid का derivative ज़्यादा से ज़्यादा 0.25 होता है, इसलिए हर layer signal को कम से कम चार गुना घटा देती है।
समाधान
- बेहतर activations: positive inputs के लिए ReLU का derivative ठीक 1 होता है, इसलिए यह signal को नहीं घटाता। Modern LLMs में इस्तेमाल होने वाले GELU और SwiGLU भी ऐसा ही व्यवहार करते हैं।
- Initialization: Xavier और He initialization शुरुआती weights ऐसे चुनते हैं कि signals का scale सभी layers में लगभग एक जैसा रहे।
- Normalization: batch norm और layer norm activations को दोबारा center और rescale करते हैं, ताकि वे सही range में रहें।
- Residual connections: किसी layer के input को उसके output में जोड़ देने से gradients को पीछे जाने का सीधा रास्ता मिल जाता है। इसी ने 100 से ज़्यादा layers वाले networks और हर transformer को train करने लायक बनाया।
- Gated architectures: LSTMs और GRUs जानकारी को समय के साथ बहुत कम क्षय के साथ बहने देते हैं।
- Gradient clipping: अगर gradient का आकार एक सीमा से ऊपर चला जाए, तो उसे छोटा कर दीजिए। Explosions का यह standard इलाज लगभग हर LLM training recipe में इस्तेमाल होता है।
आज के models में
Transformers ने residual connections, layer norm और सावधानी से किए गए initialization को मिलाकर इस समस्या को काफ़ी हद तक काबू कर लिया। छोटे फ़ैसले अब भी मायने रखते हैं: normalization को हर sub-layer के बाद की जगह उससे पहले ("pre-norm") रखने से बहुत गहरे transformers कहीं ज़्यादा stable हो गए। Learning rate warmup भी कुछ हद तक इसीलिए है कि शुरुआती steps में explosive updates से बचा जा सके।
इसे कैसे पहचानें
Training के दौरान gradient norm को log कीजिए। शून्य की ओर गिरता norm vanishing का संकेत है; अचानक आए spikes और उनके बाद NaN exploding का संकेत है। आम तौर पर पहले कदम ये होते हैं: learning rate घटाना, gradient clipping जोड़ना या कसना, warmup लंबा करना और mixed-precision settings जाँचना।