QLoRA
यह क्यों मायने रखता है
गहन अध्ययन
QLoRA को 2023 में University of Washington के Tim Dettmers और उनके साथियों ने पेश किया। यह दो विचारों को जोड़ता है। पहला, base model को 16-bit की जगह 4-bit precision में load कीजिए, जिससे memory का इस्तेमाल करीब 4 गुना घट जाता है। दूसरा, उन 4-bit weights को frozen रखिए और उनके ऊपर ज़्यादा precision में छोटे LoRA adapters train कीजिए। Gradients quantized model से होकर adapters तक पहुँचते हैं, और सिर्फ़ adapters ही सीखते हैं।
सबसे बड़ा नतीजा यह था: 65 अरब parameters वाला model एक ही 48 GB GPU पर fine-tune हो सका, और जिन benchmarks पर जाँच हुई उन पर quality 16-bit full fine-tuning के बराबर रही।
तीन तरकीबें
QLoRA paper ने तीन चीज़ें पेश कीं, जो मिलकर 4-bit training को कामयाब बनाती हैं:
- NF4 (4-bit NormalFloat): एक 4-bit data type जो neural network weights की घंटी जैसी distribution के लिए बना है, इसलिए साधारण 4-bit integers से कम जानकारी खोता है।
- Double quantization: quantization में इस्तेमाल होने वाले छोटे scaling constants को भी quantize किया जाता है, जिससे हर parameter पर करीब 0.4 bit और बचता है।
- Paged optimizers: memory के अचानक बढ़ने पर optimizer states GPU memory से CPU memory में जा सकती हैं, जिससे लंबी sequences पर out-of-memory crash नहीं होता।
Memory का मोटा budget
7B से 8B के model के लिए: 4-bit weights करीब 4 से 5 GB लेते हैं, LoRA adapters और उनकी optimizer states कुछ सौ megabytes जोड़ती हैं, और activations batch size और sequence length पर निर्भर करती हैं। व्यवहार में, gradient checkpointing के साथ 8B model के लिए 16 GB VRAM आरामदायक है, और करीब 48 GB में 70B model संभल जाता है।
समझौते
QLoRA साधारण LoRA से धीमा है, अक्सर 30% या उससे भी ज़्यादा, क्योंकि हर forward और backward pass में weights को चलते-चलते de-quantize करना पड़ता है। Quality आमतौर पर 16-bit LoRA के बहुत करीब होती है, पर हमेशा बिल्कुल बराबर नहीं, खासकर उन कामों में जो छोटे numeric details के प्रति संवेदनशील हैं।
Deployment में भी एक बारीकी है। Adapters model के 4-bit version के सामने train हुए थे। Serving के लिए आप उन्हें base model की full-precision copy में merge कर सकते हैं और यह आमतौर पर ठीक चलता है, लेकिन merged नतीजे को जाँच लेना बेहतर है, यह मान लेने के बजाय कि वह वैसा ही होगा।
कब इस्तेमाल करें
QLoRA तब इस्तेमाल कीजिए जब memory की तंगी हो: बड़ा model, छोटा GPU। अगर VRAM भरपूर है, तो 16-bit में साधारण LoRA तेज़ और थोड़ा सरल है। अगर आप छोटा model (1B से 3B) fine-tune कर रहे हैं, तो बचत कम मायने रखती है।