मुख्य सामग्री पर जाएँ
Zubnet AI › सीखें › Wiki › Data Poisoning
सुरक्षा

Data Poisoning

इसे भी कहा जाता है: Training Data Poisoning, Backdoor Attack
एक attack जो model के training data में दुर्भावनापूर्ण examples घुसा देता है, ताकि छिपे हुए व्यवहार बोए जा सकें या उसका प्रदर्शन बिगाड़ा जा सके।

यह क्यों मायने रखता है

LLMs public web से scrape किए गए भारी मात्रा के text पर train होते हैं, और web पर कोई भी publish कर सकता है। इसका मतलब है कि सिद्धांत रूप में कोई भी यह प्रभावित करने की कोशिश कर सकता है कि आने वाले models क्या सीखें। Research ने दिखाया है कि यह पहले की सोच से ज़्यादा व्यावहारिक है:

  • 2023 के एक study ने दिखाया कि attackers करीब $60 में लोकप्रिय web-scale image datasets को poison कर सकते थे, बस वे expired domains खरीदकर जिनकी ओर datasets अब भी इशारा करते थे।
  • Anthropic, UK AI Security Institute और Alan Turing Institute के 2025 के study ने पाया कि सिर्फ़ 250 poisoned documents 60 करोड़ से 13 अरब parameters तक के models में backdoor बो सकते हैं। Models और datasets बड़े होने पर भी ज़रूरी संख्या लगभग वही रही, वह dataset के आकार के साथ नहीं बढ़ी।

Fine-tuning data, RAG knowledge bases और share किए गए open models भी निशाने पर हैं, इसलिए यह खतरा सिर्फ़ बड़ी labs का नहीं, builders का भी है।

गहन अध्ययन

Model उतना ही भरोसेमंद है जितना वह data जिससे वह सीखता है। Data poisoning इसी का फ़ायदा उठाती है: attacker training data में सावधानी से गढ़े गए examples जोड़ता है, ताकि तैयार model वैसा व्यवहार करे जैसा attacker चाहता है। कभी-कभी लक्ष्य model को कुल मिलाकर खराब करना होता है। ज़्यादातर यह एक backdoor होता है: model तब तक सामान्य व्यवहार करता है जब तक उसे कोई खास trigger न दिखे, जैसे कोई दुर्लभ phrase, और फिर वह कुछ और करता है, जैसे हानिकारक content बनाना, data leak करना या असुरक्षित code लिखना।

Trigger गुप्त होता है, इसलिए backdoor वाला model साधारण testing को पूरी तरह पास कर सकता है।

Poisoning के प्रकार

  • Backdoors: कोई trigger एक खास व्यवहार पैदा करता है। Anthropic की 2024 की "Sleeper Agents" research ने दिखाया कि backdoor वाले व्यवहार standard safety training के बाद भी बचे रह सकते हैं।
  • Targeted poisoning: model को किसी एक खास चीज़ के बारे में गलत कर देना, जैसे कोई brand, कोई व्यक्ति या code का कोई टुकड़ा।
  • Availability attacks: model की quality को कुल मिलाकर गिराना।
  • कलाकारों की ओर से poisoning: Nightshade जैसे tools images में बारीक बदलाव करते हैं, ताकि बिना इजाज़त उन पर train होने वाले image models गलत संबंध सीखें। यह विरोध या बचाव के रूप में इस्तेमाल हुई poisoning है।

Pre-training से आगे

  • Fine-tuning datasets: share किए गए dataset में थोड़े-से खराब examples model को हानिकारक आदतें सिखा सकते हैं।
  • RAG poisoning: किसी knowledge base में या web पर ऐसे documents रख देना जिन्हें retrieval system खींच लाएगा। यह indirect prompt injection से करीबी तौर पर जुड़ा है।
  • Model supply chain: download किया गया model या adapter पहले से backdoor वाला हो सकता है। भरोसेमंद स्रोत और safetensors जैसे सुरक्षित formats इस्तेमाल कीजिए।

बचाव

  • Data provenance: जानिए कि training data कहाँ से आता है, और चुने हुए, भरोसेमंद स्रोतों को तरजीह दीजिए।
  • Filtering और deduplication: training से पहले कम quality वाला, दोहराया गया या असामान्य content हटाइए।
  • Triggers के लिए evaluation: models को असामान्य inputs से red-team कीजिए। खास detection विधियाँ backdoor के signatures ढूँढती हैं।
  • RAG के लिए: तय कीजिए कि knowledge base में कौन लिख सकता है, और retrieve हुए content को अविश्वसनीय input मानिए।
  • Fine-tuning के लिए: datasets की समीक्षा कीजिए, खासकर community के दिए हुए datasets की, और deploy करने से पहले fine-tuned model को अपनी safety जाँचों पर परखिए।
← सभी शब्द
ESC