Learning Rate
यह क्यों मायने रखता है
अगर आप सिर्फ़ एक hyperparameter tune कर सकते हैं, तो इसी को tune कीजिए। गलत learning rate किसी training run के नाकाम होने का सबसे आम कारण है, और इस नाकामी को गलत समझ लेना आसान है:
- बहुत ऊँचा: loss अचानक उछलता है, ऊपर-नीचे झूलता है या
NaNहो जाता है। Fine-tuning में model जो जानता था वह भूल सकता है और बकवास output देने लग सकता है। - बहुत नीचा: loss मुश्किल से हिलता है। Fine-tune "असर नहीं करता", और model बिल्कुल base model जैसा व्यवहार करता है।
चूँकि सबसे अच्छी value model, तरीके और data के हिसाब से बदलती है, इसलिए जब किसी और के लिए काम करने वाली recipe आपके लिए काम न करे तो सबसे पहले इसी को जाँचिए।
गहन अध्ययन
Neural network को train करना कोहरे में पहाड़ी से नीचे उतरने जैसा है। Gradient बताता है कि आप जहाँ खड़े हैं वहाँ से नीचे की दिशा कौन-सी है। Learning rate तय करता है कि दोबारा जाँचने से पहले आप उस दिशा में कितनी दूर कदम रखते हैं। हर weight मोटे तौर पर ऐसे update होता है: नया weight = पुराना weight − learning rate × gradient।
बहुत बड़े कदम उठाइए तो आप घाटी को पार कर जाते हैं, इधर से उधर उछलते रहते हैं या पूरी तरह बाहर निकल जाते हैं। बहुत छोटे कदम उठाइए तो आप रेंगते हुए आगे बढ़ते हैं, compute बर्बाद करते हैं और किसी खराब जगह पर टिक सकते हैं। सही value इन दोनों के बीच कहीं होती है, और आम तौर पर यह 0.0001 जैसी छोटी संख्या होती है (जिसे 1e-4 लिखा जाता है)।
आम Values
ये AdamW optimizer के साथ शुरुआती बिंदु हैं, नियम नहीं:
- LLM को शून्य से pre-train करना: peak करीब 1e-4 से 6e-4।
- Pre-trained model की full fine-tuning: 1e-5 से 5e-5। Weights पहले से अच्छे हैं, इसलिए धीरे चलिए।
- LoRA और QLoRA: 1e-4 से 2e-4। Adapter weights शून्य के पास से शुरू होते हैं और उन्हें बड़े कदम चाहिए।
सादा SGD कहीं बड़ी values इस्तेमाल करता है, जैसे 0.1, क्योंकि वह gradients को Adam की तरह rescale नहीं करता।
Warmup
ज़्यादातर recipes पूरे learning rate से शुरू नहीं होतीं। वे पहले कुछ सौ या हज़ार steps में लगभग शून्य से ऊपर चढ़ती हैं। Training की शुरुआत में gradients बड़े और अनियमित होते हैं, और Adam जैसे adaptive optimizers ने अभी भरोसेमंद statistics नहीं जुटाए होते। उस समय पूरे size के कदम model को ऐसे खराब इलाके में धकेल सकते हैं जहाँ से वह कभी नहीं उबरता। Warmup एक सस्ता बीमा है, आम तौर पर कुल steps का 1% से 10%।
Decay
Warmup के बाद rate को आम तौर पर समय के साथ घटाया जाता है, सबसे अक्सर cosine curve या सीधी रेखा के साथ। बड़े कदम शुरुआत में तेज़ प्रगति करते हैं; छोटे कदम आखिर में बारीक बदलाव करने देते हैं। Wiki की Learning Rate Schedule entry इन विकल्पों के बारे में बताती है।
आपसी असर
- Batch size: बड़े batches कम noisy gradients देते हैं और ऊँचे learning rates सह लेते हैं। एक आम मोटा नियम यह है कि batch बढ़ाने पर rate भी बढ़ाइए।
- Optimizer: Adam परिवार के optimizers हर weight के लिए कदम को ढालते हैं, जिससे गलती की गुंजाइश बढ़ जाती है, लेकिन base rate अब भी मायने रखता है।
- Weight decay: एक अलग setting जो हर step पर weights को थोड़ा सिकोड़ती है। AdamW में इसका असर learning rate से बँधा होता है।
- Per-layer rates: कुछ fine-tuning recipes शुरुआती layers के लिए, जिनमें सामान्य features होते हैं, बाद वाली layers की तुलना में छोटे rates इस्तेमाल करती हैं।
अच्छी Value ढूँढना
छोटे runs पर करीब 3 के गुणक से अलग कुछ values आज़माइए (उदाहरण के लिए 1e-5, 3e-5, 1e-4, 3e-4) और loss curves की तुलना कीजिए। अच्छा rate ऐसा loss देता है जो तेज़ी से और smoothly गिरता है। जो सबसे बड़ी value अब भी स्थिर रूप से train करती है, वह अक्सर सबसे अच्छी के करीब होती है।