मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › QLoRA
प्रशिक्षण

QLoRA

इसे भी कहा जाता है: Quantized LoRA
एक fine-tuning विधि जो 4-bit precision में frozen model के ऊपर LoRA adapters train करती है, ताकि बड़े models एक ही GPU पर समा जाएँ।

यह क्यों मायने रखता है

QLoRA से पहले करीब 13B parameters से ऊपर की किसी भी चीज़ को fine-tune करने के लिए कई data-center GPUs चाहिए होते थे। QLoRA ने 30B से 70B की fine-tuning को एक workstation card पर ला दिया और 7B से 8B की fine-tuning को 12 से 24 GB VRAM वाले consumer GPUs पर, यहाँ तक कि मुफ़्त cloud notebooks पर भी। यह आज भी Unsloth, Axolotl और Hugging Face की TRL और PEFT libraries जैसे लोकप्रिय fine-tuning tools की default recipe है।

गहन अध्ययन

QLoRA को 2023 में University of Washington के Tim Dettmers और उनके साथियों ने पेश किया। यह दो विचारों को जोड़ता है। पहला, base model को 16-bit की जगह 4-bit precision में load कीजिए, जिससे memory का इस्तेमाल करीब 4 गुना घट जाता है। दूसरा, उन 4-bit weights को frozen रखिए और उनके ऊपर ज़्यादा precision में छोटे LoRA adapters train कीजिए। Gradients quantized model से होकर adapters तक पहुँचते हैं, और सिर्फ़ adapters ही सीखते हैं।

सबसे बड़ा नतीजा यह था: 65 अरब parameters वाला model एक ही 48 GB GPU पर fine-tune हो सका, और जिन benchmarks पर जाँच हुई उन पर quality 16-bit full fine-tuning के बराबर रही।

तीन तरकीबें

QLoRA paper ने तीन चीज़ें पेश कीं, जो मिलकर 4-bit training को कामयाब बनाती हैं:

  • NF4 (4-bit NormalFloat): एक 4-bit data type जो neural network weights की घंटी जैसी distribution के लिए बना है, इसलिए साधारण 4-bit integers से कम जानकारी खोता है।
  • Double quantization: quantization में इस्तेमाल होने वाले छोटे scaling constants को भी quantize किया जाता है, जिससे हर parameter पर करीब 0.4 bit और बचता है।
  • Paged optimizers: memory के अचानक बढ़ने पर optimizer states GPU memory से CPU memory में जा सकती हैं, जिससे लंबी sequences पर out-of-memory crash नहीं होता।

Memory का मोटा budget

7B से 8B के model के लिए: 4-bit weights करीब 4 से 5 GB लेते हैं, LoRA adapters और उनकी optimizer states कुछ सौ megabytes जोड़ती हैं, और activations batch size और sequence length पर निर्भर करती हैं। व्यवहार में, gradient checkpointing के साथ 8B model के लिए 16 GB VRAM आरामदायक है, और करीब 48 GB में 70B model संभल जाता है।

समझौते

QLoRA साधारण LoRA से धीमा है, अक्सर 30% या उससे भी ज़्यादा, क्योंकि हर forward और backward pass में weights को चलते-चलते de-quantize करना पड़ता है। Quality आमतौर पर 16-bit LoRA के बहुत करीब होती है, पर हमेशा बिल्कुल बराबर नहीं, खासकर उन कामों में जो छोटे numeric details के प्रति संवेदनशील हैं।

Deployment में भी एक बारीकी है। Adapters model के 4-bit version के सामने train हुए थे। Serving के लिए आप उन्हें base model की full-precision copy में merge कर सकते हैं और यह आमतौर पर ठीक चलता है, लेकिन merged नतीजे को जाँच लेना बेहतर है, यह मान लेने के बजाय कि वह वैसा ही होगा।

कब इस्तेमाल करें

QLoRA तब इस्तेमाल कीजिए जब memory की तंगी हो: बड़ा model, छोटा GPU। अगर VRAM भरपूर है, तो 16-bit में साधारण LoRA तेज़ और थोड़ा सरल है। अगर आप छोटा model (1B से 3B) fine-tune कर रहे हैं, तो बचत कम मायने रखती है।

← सभी शब्द
ESC