Data drift detection: वर्तमान inputs के सांख्यिकीय distribution की तुलना प्रशिक्षण डेटा distribution से करें। यदि features में महत्वपूर्ण shift होता है (KS test, PSI, या Jensen-Shannon divergence जैसे tests का उपयोग करके), तो मॉडल अपने प्रशिक्षण distribution के बाहर काम कर रहा हो सकता है। उदाहरण: 25–55 वर्ष आयु के आवेदकों पर प्रशिक्षित credit scoring मॉडल को 18 वर्ष के बच्चों से आवेदन मिलने लगते हैं — एक ऐसी आबादी जिसे उसने कभी नहीं देखा।
Concept drift का पता लगाना कठिन है क्योंकि inputs समान दिखते हैं लेकिन सही outputs बदल जाते हैं। COVID के दौरान, "सामान्य" खरीद पैटर्न नाटकीय रूप से बदल गए — 100 toilet paper rolls ख़रीदना "संभावित fraud" से "मंगलवार" हो गया। मॉडल की भविष्यवाणियाँ इसलिए ग़लत नहीं हुईं कि मॉडल ख़राब हो गया, बल्कि इसलिए कि वास्तविकता बदल गई। Concept drift का पता लगाने के लिए भविष्यवाणियों की तुलना ground truth से करनी होती है, जो अक्सर देरी से आता है।
LLM drift अलग तरह से प्रकट होता है: उपयोगकर्ता query patterns बदलते हैं (नए विषय उभरते हैं), provider model updates व्यवहार बदलते हैं (API model versions चुपचाप बदलते हैं), और दुनिया बदलती है (पुराना training data)। निगरानी रणनीतियों में शामिल हैं: समय के साथ output quality scores को track करना, queries के topic distribution में shifts का पता लगाना, उपयोगकर्ता-रिपोर्टेड समस्याओं में वृद्धि पर alert करना, और provider-side परिवर्तनों का पता लगाने के लिए एक निश्चित benchmark पर समय-समय पर पुनः मूल्यांकन करना।