मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Adversarial Examples
सुरक्षा

Adversarial Examples

इसे भी कहा जाता है: Adversarial Attack, Adversarial Perturbation
जान-बूझकर गढ़े गए inputs, जिनमें अक्सर इंसानों को न दिखने वाले बदलाव होते हैं, ताकि AI model गलत या हानिकारक output दे।

यह क्यों मायने रखता है

Adversarial examples ने दिखाया कि सामान्य data पर model की ऊँची accuracy इस बारे में बहुत कम बताती है कि जब कोई उसे सक्रिय रूप से बेवकूफ़ बनाने की कोशिश करे तो वह कैसा व्यवहार करेगा। यह हर उस जगह अहम है जहाँ AI security या safety से जुड़े फ़ैसले लेता है: road signs पढ़ती self-driving cars, face recognition, malware detection, content moderation और fraud detection।

ये सिर्फ़ lab तक सीमित नहीं हैं। Researchers ने stop sign पर कुछ stickers लगाकर sign classifiers को बेवकूफ़ बनाया, 3D-printed कछुआ बनाया जो लगभग हर कोण से rifle के रूप में classify होता था, और ऐसे printed patches design किए जो किसी व्यक्ति को object detectors से छिपा सकते थे।

LLMs के साथ यही विचार adversarial prompts के रूप में लौटता है: text की ऐसी strings जो model की safety training तोड़ने के लिए optimize की गई हों।

गहन अध्ययन

2013 में researchers ने neural networks के बारे में एक बेचैन करने वाली बात खोजी: आप ऐसी image ले सकते थे जिसे model सही classify करता था, उसके pixels को इतना कम बदल सकते थे कि इंसान को पता न चले, और model से पूरे भरोसे के साथ गलती करवा सकते थे। 2014 के एक मशहूर उदाहरण में panda की तस्वीर, सावधानी से निकाले गए noise की हल्की परत के साथ, 99% confidence से gibbon के रूप में classify हुई। इंसान को दोनों images एक जैसी दिखती थीं।

इन गढ़े गए inputs को adversarial examples कहते हैं। ये इसलिए काम करते हैं कि models ऐसे patterns पर निर्भर करते हैं जिन्हें इंसान महसूस नहीं करते, और attacker ठीक उन्हीं patterns पर ज़ोर डाल सकता है।

Attacks कैसे बनते हैं

  • White-box attacks: अगर आपके पास model के weights हैं, तो आप input के सापेक्ष उसके output का gradient निकाल सकते हैं और input को उस दिशा में खिसका सकते हैं जो error सबसे ज़्यादा बढ़ाए। Fast Gradient Sign Method (FGSM) यह एक step में करता है। PGD जैसी ताकतवर विधियाँ कई छोटे steps लेती हैं।
  • Black-box attacks: weights के बिना attackers model से बार-बार query करते हैं, या अपने नियंत्रण वाले किसी मिलते-जुलते model पर examples गढ़ते हैं। Adversarial examples अक्सर transfer होते हैं: जो एक model को बेवकूफ़ बनाता है, वह अक्सर दूसरों को भी बना देता है।
  • Physical attacks: ऐसे perturbations जो printing, रोशनी के बदलाव और देखने के अलग-अलग कोणों को झेल जाएँ।

LLMs पर adversarial attacks

2023 में researchers ने एक automated विधि दिखाई (जिसे अक्सर GCG कहते हैं) जो बेमतलब दिखने वाले tokens का एक छोटा suffix ढूँढती है, जिसे हानिकारक request के अंत में जोड़ने पर aligned models मान जाते हैं। Open models पर मिले suffixes कुछ closed models पर भी चले। तब से attacks optimize किए गए tokens से लेकर multimodal models के लिए छिपे instructions वाली images तक फैल गए हैं। यह jailbreaking और prompt injection से मिलता-जुलता है, हालाँकि वे अक्सर हाथ से लिखे जाते हैं, गणना से नहीं निकाले जाते।

बचाव

  • Adversarial training: training में adversarial examples शामिल करना, ताकि model उनका सामना करना सीखे। यह सबसे असरदार आम विधि है, लेकिन महंगी है और साफ़ inputs पर accuracy घटा सकती है।
  • Certified robustness: गणितीय गारंटी कि एक छोटे दायरे के भीतर का कोई बदलाव output नहीं पलट सकता। मज़बूत, लेकिन सिर्फ़ छोटे बदलावों और छोटे models के लिए व्यावहारिक।
  • Input preprocessing और detection: perturbations को नष्ट करने के लिए inputs को filter करना या बदलना। ऐसे कई बचाव बाद में adaptive attacks से टूट गए।
  • System design: high-stakes फ़ैसलों में किसी एक model के output को अकेला safeguard मत बनने दीजिए। उसे दूसरी जाँचों के साथ जोड़िए।

बड़ा सबक

कोई भी व्यापक रूप से इस्तेमाल होने वाला बचाव models को पूरी तरह robust नहीं बनाता। Adversarial examples याद दिलाते हैं कि models दुनिया को इंसानों से अलग तरह से देखते हैं, और security का मतलब सिर्फ़ आम data के सामने नहीं, बल्कि एक सोचने वाले विरोधी के सामने परखना है।

← सभी शब्द
ESC