मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Machine Unlearning
प्रशिक्षण

Machine Unlearning

इसे भी कहा जाता है: Unlearning, LLM Unlearning
ऐसी तकनीकें जो किसी trained model से खास data या जानकारी भुलवा देती हैं, बिना उसे शून्य से दोबारा train किए।

यह क्यों मायने रखता है

कई दबाव इसे एक व्यावहारिक ज़रूरत बनाते हैं:

  • Privacy कानून: GDPR के "right to erasure" जैसे नियम लोगों को अपना personal data हटवाने की माँग करने देते हैं। यह trained models तक पहुँचता है या नहीं, यह अभी तय हो रहा है, लेकिन developers जवाब तैयार रखना चाहते हैं।
  • Copyright: कोई अदालत या समझौता किसी model से संरक्षित रचनाएँ हटाने को कह सकता है।
  • Safety: labs खतरनाक जानकारी निकाल देना चाहती हैं, जैसे वे ब्योरे जो जैविक हथियार बनाने में मदद करें।
  • मरम्मत: poisoned, गलत label वाले या पुराने पड़ चुके data को बाद में हटाना।

गहन अध्ययन

Database से एक row हटाना आसान है। Neural network ने उस row से जो सीखा, उसे हटाना आसान नहीं, क्योंकि वह जानकारी अरबों weights में फैली होती है और बाकी सब चीज़ों के साथ घुली-मिली होती है। इसे हटाने का अकेला पक्का तरीका है कि model को उस data के बिना दोबारा train किया जाए, और बड़े model के लिए इसमें दसियों लाख डॉलर लग सकते हैं।

Machine unlearning एक सस्ते रास्ते की तलाश है: मौजूदा model को इस तरह बदलना कि वह ऐसे व्यवहार करे जैसे उसने वह data कभी देखा ही न हो।

Exact बनाम Approximate

Exact unlearning गारंटी देता है कि नतीजा दोबारा training जैसा ही होगा। सबसे जाना-माना तरीका, SISA, training data को shards में बाँटता है और हर shard पर एक अलग sub-model train करता है, ताकि एक data point हटाने का मतलब सिर्फ़ एक shard को दोबारा train करना हो। यह छोटे models के लिए काम करता है, लेकिन LLMs जिस तरह train होते हैं उससे मेल नहीं खाता।

Approximate unlearning trained model को सीधे edit करता है। आम तरीके:

  • Gradient ascent: जिस data को भुलाना है उस पर training को उल्टा चलाया जाता है, यानी उस पर loss बढ़ाया जाता है, और आम तौर पर इसे रखे जाने वाले data पर सामान्य training के साथ संतुलित किया जाता है।
  • Substitute targets: model को fine-tune किया जाता है ताकि वह भुलाए गए विषय पर सामान्य या "मुझे नहीं पता" जैसे जवाब दे। Microsoft के researchers ने 2023 में इसका एक रूप इस्तेमाल करके एक Llama model से Harry Potter की किताबें काफ़ी हद तक भुलवा दीं।
  • Representation methods: लक्षित विषय पर model के अंदरूनी activations को गड्डमड्ड कर दिया जाता है ताकि वह उसके बारे में reasoning न कर सके, जैसा RMU method में होता है।

क्या यह सच में भूलता है?

यही कमज़ोर कड़ी है। Research बार-बार पाती है कि approximate unlearning अक्सर जानकारी को मिटाने की जगह छिपा देता है:

  • जुड़े हुए data पर थोड़ी-सी fine-tuning "भूली हुई" जानकारी को वापस ला सकती है।
  • Jailbreaks और घुमा-फिराकर पूछे गए सवाल उसे निकलवा सकते हैं।
  • 2024 की एक study में पाया गया कि unlearning से गुज़रे model को सिर्फ़ quantize करने से वह काफ़ी कुछ लौट आया जो उसे खो देना चाहिए था।
  • Unlearning से collateral damage भी होता है: model उन आस-पास के विषयों पर खराब हो जाता है जिन्हें उसे बनाए रखना था।

TOFU (काल्पनिक लेखकों के profiles), WMDP (खतरनाक जानकारी) और MUSE जैसे benchmarks भूलने और बची हुई क्षमता, दोनों को परखते हैं, और कोई भी तरीका हर चीज़ पर अच्छा score नहीं करता।

Unlearning बनाम मिलते-जुलते विचार

  • Knowledge editing किसी खास तथ्य को बदलता है ("अब CEO X है")। Unlearning हटाता है।
  • Differential privacy training के दौरान यह सीमित करती है कि model किसी व्यक्ति के बारे में कितना याद रख सकता है, जिससे समस्या पहले ही रुक जाती है।
  • Output filters और guardrails model को कुछ कहने से रोकते हैं, बिना यह बदले कि वह क्या जानता है।

व्यावहारिक सलाह

अगर data को बाद में हटाना पड़ सकता है, तो सबसे भरोसेमंद design उसे weights से बाहर रखता है। Training से पहले training data को filter कीजिए, और बदलने वाली या संवेदनशील जानकारी RAG के ज़रिए दीजिए, जहाँ document हटाने से वह सच में हट जाता है। आज के unlearning तरीकों को जोखिम घटाने का उपाय मानिए, गारंटी नहीं, और उन पर भरोसा करने से पहले उन्हें adversarial ढंग से test कीजिए।

← सभी शब्द
ESC