Content moderation दशकों से AI से पहले है — Usenet के बाद से हर online forum में किसी ने तय किया है कि क्या रहता है और क्या जाता है। जो बदला वह scale है। Facebook प्रति दिन एक अरब से अधिक posts प्रोसेस करता है। YouTube हर मिनट 500 घंटे वीडियो प्राप्त करता है। TikTok, X, Reddit, और हर अन्य user-generated content वाला platform इसी math का सामना करता है: सामग्री की मात्रा मनुष्यों के लिए पूर्ण रूप से समीक्षा करना भौतिक रूप से असंभव है। AI classifiers आवश्यक हो गए इसलिए नहीं कि वे काम पर अच्छे हैं, बल्कि क्योंकि विकल्प — कोई moderation नहीं — बदतर है। generative AI के आगमन ने समस्या को बढ़ा दिया है। ऐसे tools जो पैमाने पर text, छवियाँ, और वीडियो उत्पन्न करना तुच्छ बनाते हैं वे पैमाने पर हानिकारक सामग्री उत्पन्न करना भी तुच्छ बनाते हैं। आपको अब AI की आवश्यकता है उस सामग्री को moderate करने के लिए जो AI ने स्वयं उत्पन्न की।
अधिकांश production moderation सिस्टम एक layered दृष्टिकोण का उपयोग करते हैं। पहली परत automated classifiers हैं: hate speech, हिंसा, nudity, spam, और self-harm जैसी श्रेणियों में सामग्री को flag करने के लिए प्रशिक्षित machine learning मॉडल। ये classifiers सब कुछ प्रोसेस करते हैं और milliseconds में operate करते हैं। दूसरी परत hash-matching है, जहाँ ज्ञात हानिकारक सामग्री (विशेष रूप से child sexual abuse material) को NCMEC जैसे databases के विरुद्ध perceptual hashing का उपयोग करके matched किया जाता है — PhotoDNA सबसे व्यापक रूप से तैनात होने के नाते। तीसरी परत मानव समीक्षा है, जहाँ flagged सामग्री मानव moderators के पास जाती है जो ambiguous मामलों पर अंतिम निर्णय लेते हैं। Meta और Google जैसे बड़े platforms दसियों हज़ारों मानव reviewers को नियुक्त करते हैं, कई Kenya, Philippines, और India जैसे देशों में outsourcing firms के माध्यम से। इन reviewers पर काम की स्थितियों और मानसिक टोल को व्यापक रूप से प्रलेखित किया गया है और उद्योग में एक गंभीर नैतिक चिंता बनी हुई है।
Content moderation में सबसे कठिन चुनौती context है। वाक्यांश "मैं तुम्हें मारने वाला हूँ" एक बातचीत में मौत की धमकी है और दूसरे में दोस्ताना मज़ाक। एक घाव की चिकित्सा छवि एक स्वास्थ्य forum पर शैक्षिक सामग्री है और एक general-interest platform पर graphic हिंसा। Satire, irony, और sarcasm routinely उन classifiers को मूर्ख बनाते हैं जो सीधे उदाहरणों पर अच्छा प्रदर्शन करते हैं। Multilingual moderation एक और आयाम जोड़ता है: अधिकांश AI classifiers अंग्रेज़ी में सबसे अच्छा प्रदर्शन करते हैं और अन्य भाषाओं में significantly degrade होते हैं, जिसका अर्थ है कि platforms अक्सर उन क्षेत्रों में सामग्री को moderate करने में सबसे कम सक्षम हैं जहाँ दाँव सबसे अधिक हैं। Myanmar genocide के दौरान, Facebook के moderation सिस्टम Burmese-भाषा hate speech पर catastrophically विफल हुए, एक विफलता जिसे कंपनी ने बाद में स्वयं स्वीकार किया। सबक यह है कि moderation गुणवत्ता केवल आपकी सबसे खराब-प्रदर्शन वाली भाषा जितनी अच्छी है, आपकी सबसे अच्छी जितनी नहीं।
Generative AI नई moderation चुनौतियाँ बनाता है जिन्हें संभालने के लिए मौजूदा सिस्टम डिज़ाइन नहीं किए गए थे। AI-generated छवियाँ वास्तविक तस्वीरों का उपयोग किए बिना नई CSAM उत्पन्न कर सकती हैं, जिसका अर्थ है कि hash-matching databases उनके विरुद्ध बेकार हैं। Synthetic text को keyword filters और classifier patterns से बचने के लिए तैयार किया जा सकता है क्योंकि generator तब तक iterate कर सकता है जब तक आउटपुट pass नहीं हो जाता। Voice cloning पैमाने पर impersonation को सक्षम करती है। और AI-generated सामग्री की विशाल मात्रा — text, छवियाँ, वीडियो — moderation pipelines को overwhelm करने की धमकी देती है जो पहले से ही क्षमता पर operating कर रहे थे। रक्षात्मक पक्ष पर, LLMs तेज़ी से moderation tools के रूप में स्वयं उपयोग किए जा रहे हैं: Anthropic का Constitutional AI दृष्टिकोण, OpenAI का moderation endpoint, और Meta का Llama Guard पारंपरिक classifiers की तुलना में अधिक nuance के साथ सामग्री का मूल्यांकन करने के लिए भाषा मॉडलों का उपयोग करने के उदाहरण हैं। ये LLM-आधारित moderators context को बेहतर संभालते हैं लेकिन चलाने में अधिक महंगे हैं और अपने स्वयं के biases पेश करते हैं।
हर moderation निर्णय दो प्रकार की त्रुटि के बीच एक trade-off है। Over-moderation legitimate speech को silence करता है, असमान रूप से marginalized communities, राजनीतिक असहमति, और sexual health या drug policy जैसे sensitive-but-important विषयों के बारे में चर्चाओं को प्रभावित करता है। Under-moderation वास्तविक हानि की अनुमति देता है: harassment अभियान, radicalization pipelines, fraud, और अवैध सामग्री का वितरण। कोई सिस्टम हर किसी के लिए इस balance को सही नहीं पाता, और "सही" balance सांस्कृतिक मूल्यों पर निर्भर करता है जो देश, समुदाय, और व्यक्ति के अनुसार भिन्न होते हैं। विश्व स्तर पर operating platforms को विभिन्न क़ानूनी मानकों वाले सैकड़ों अधिकार क्षेत्रों में ये calls करनी होती हैं, और वे जो निर्णय लेते हैं — अक्सर classifier प्रशिक्षण डेटा और threshold settings में encoded — का अधिकांश कानूनों की तुलना में मुक्त अभिव्यक्ति पर अधिक व्यावहारिक प्रभाव होता है। इन सिस्टमों का निर्माण करने वाले लोग, चाहे उन्होंने इरादा किया हो या नहीं, सभ्यतागत पैमाने पर editorial और नैतिक निर्णय कर रहे हैं।