PEFT
यह क्यों मायने रखता है
PEFT ने fine-tuning को सबकी पहुँच में ला दिया। LoRA और QLoRA जैसी विधियों से लोग 7B से 70B तक के models को एक ही GPU पर fine-tune करते हैं। Output एक छोटी adapter file होती है, अक्सर कुछ दर्जन megabytes की, कई gigabytes के model की जगह। आप एक base model रखकर हर customer या काम के लिए adapters बदल सकते हैं, और vLLM जैसे serving systems एक ही base model पर एक साथ कई LoRA adapters serve कर सकते हैं।
मूल weights frozen रहते हैं, इसलिए PEFT catastrophic forgetting को भी कम करता है: आपका काम सीखते हुए model के अपनी general क्षमताएँ खोने की संभावना घट जाती है।
गहन अध्ययन
Full fine-tuning model के हर weight को update करती है। 70 अरब parameters वाले model के लिए इसका मतलब है 70 अरब संख्याओं के gradients और optimizer states रखना, जिसके लिए GPUs का पूरा cluster चाहिए, और हर काम के लिए model की एक पूरी नई copy save करना। Parameter-efficient fine-tuning मूल model को freeze कर देती है और सिर्फ़ एक छोटा-सा add-on train करती है, जो अक्सर parameter count के 1% से भी काफ़ी कम होता है।
ज़्यादातर व्यावहारिक कामों में नतीजे full fine-tuning के हैरान करने लायक करीब आते हैं, और लागत उसका एक छोटा हिस्सा होती है। PEFT, Hugging Face की उस लोकप्रिय library का भी नाम है जो इन विधियों को implement करती है।
मुख्य विधियाँ
- LoRA (Low-Rank Adaptation): मौजूदा weight matrices के बगल में छोटी low-rank matrices जोड़ता है और सिर्फ़ उन्हीं को train करता है। यह सबसे ज़्यादा इस्तेमाल होने वाली विधि है।
- QLoRA: 4-bit में quantize किए गए base model के ऊपर LoRA, ताकि बड़े models भी कम VRAM में समा जाएँ।
- Adapters: हर transformer block के अंदर डाली गई छोटी bottleneck layers। यह सबसे शुरुआती PEFT विधियों में से एक है (2019), लेकिन इससे inference latency थोड़ी बढ़ती है, जबकि LoRA को base weights में merge किया जा सकता है।
- Prefix tuning और prompt tuning: कुछ "virtual tokens" सीखते हैं जो input के आगे जोड़ दिए जाते हैं। बहुत सस्ते, लेकिन कठिन कामों पर आमतौर पर LoRA से कमज़ोर।
- IA³ और उसके जैसे तरीके: हर channel के लिए scaling vectors सीखते हैं। बेहद छोटे, और तब उपयोगी जब हज़ारों adapters चाहिए हों।
- DoRA और LoRA के दूसरे variants: low-rank update लगाने के तरीके में बदलाव करके थोड़ी बेहतर quality पाते हैं।
PEFT किसमें अच्छा है और किसमें नहीं
PEFT style, format और व्यवहार सिखाने में चमकता है: कोई house voice, JSON schema, खास classification scheme या tool calling के नियम। बड़ी मात्रा में नया ज्ञान डालने में यह कमज़ोर है। अगर model को आपकी documentation जाननी है, तो आमतौर पर RAG बेहतर tool है, कभी-कभी format के लिए हल्की fine-tune के साथ।
व्यावहारिक चुनाव
LoRA जैसी विधियों के मुख्य knobs हैं rank (adapter कितना बड़ा है, आमतौर पर 8 से 64), किन layers को adapt करना है (सभी linear layers आमतौर पर सबसे अच्छा काम करती हैं), learning rate (full fine-tuning से ज़्यादा, अक्सर 1e-4 से 2e-4 के आसपास) और epochs की संख्या। छोटे से शुरू कीजिए और बड़ा करने से पहले held-out examples पर evaluate कीजिए।
यह कहाँ fit होता है
PEFT, prompt engineering और full fine-tuning के बीच बैठता है। पहले prompting और few-shot examples आज़माइए। अगर वहाँ छत आ जाए, तो अगला कदम PEFT run है। Full fine-tuning ज़्यादातर labs के लिए और नई भाषा सिखाने जैसे बड़े बदलावों के लिए बचती है।