आउटलायर डिटेक्शन की चुनौतियां
एक आउटलायर एक डेटा वस्तु है जो वस्तुओं के बाकी हिस्सों से अनिवार्य रूप से विचलित होती है, जैसे कि यह एक अलग संरचना द्वारा उत्पादित की गई हो। प्रस्तुति में आसानी के लिए, उन डेटा वस्तुओं को जो आउटलायर नहीं हैं, उन्हें "सामान्य" या अपेक्षित जानकारी के रूप में परिभाषित किया जा सकता है। इसी तरह, आउटलायर्स को "असामान्य" डेटा के रूप में परिभाषित किया जा सकता है।
आउटलायर्स डेटा घटक हैं जिन्हें दिए गए क्लास या क्लस्टर में संयोजित नहीं किया जा सकता। ये वे डेटा वस्तुएं हैं जिनका व्यवहार अन्य डेटा वस्तुओं के सामान्य व्यवहार से भिन्न होता है। इस तरह के डेटा का विश्लेषण ज्ञान खनन के लिए महत्वपूर्ण हो सकता है।
आउटलायर डिटेक्शन की विभिन्न चुनौतियां:
1. सामान्य वस्तुओं और आउटलायर्स को प्रभावी ढंग से मॉडलिंग करना
आउटलायर डिटेक्शन तत्व सामान्य (गैर-आउटलायर) वस्तुओं और आउटलायर्स के मॉडलिंग पर बहुत अधिक आधारित है। यह थोड़ा इसलिए है क्योंकि किसी एप्लिकेशन में सभी उपलब्ध सामान्य व्यवहारों को गिनना जटिल है।
डेटा सामान्यता और असामान्यता (आउटलायर्स) के बीच की सीमा स्पष्ट नहीं है। इसके बजाय, ग्रे एप्लिकेशन की एक विस्तृत श्रृंखला हो सकती है। नतीजतन, जबकि विभिन्न आउटलायर डिटेक्शन तकनीकें इनपुट सूचना सेट में प्रत्येक वस्तु को "सामान्य" या "आउटलायर" का लेबल निर्दिष्ट करती हैं, अन्य दृष्टिकोण प्रत्येक वस्तु को "आउटलियर-नेस" की गणना करने वाला एक स्कोर निर्दिष्ट करते हैं।
2. एप्लिकेशन-विशिष्ट आउटलायर डिटेक्शन
डेटा वस्तुओं को परिभाषित करने के लिए समानता/दूरी माप और संबंध मॉडल का चयन करना आउटलायर डिटेक्शन में आवश्यक है। दुर्भाग्य से, ऐसे विकल्प सॉफ्टवेयर-निर्भर हैं। कई अनुप्रयोगों की कई आवश्यकताएं हो सकती हैं।
3. आउटलायर डिटेक्शन में शोर को संभालना
आउटलायर्स शोर से अलग हैं। यह ज्ञात है कि वास्तविक सूचना सेट की गुणवत्ता खराब होती है। शोर कई अनुप्रयोगों में एकत्र किए गए डेटा में अनिवार्य रूप से मौजूद होता है। शोर को विशेषता मूल्यों में विचलन के रूप में दिखाया जा सकता है या लापता मूल्यों के रूप में चिकना किया जा सकता है।
कम डेटा गुणवत्ता और शोर का अस्तित्व आउटलायर डिटेक्शन के लिए एक बड़ी चुनौती पेश करता है। वे जानकारी को धोखा दे सकते हैं, सामान्य वस्तुओं और आउटलायर्स के बीच अंतर को धुंधला कर सकते हैं। इसके अलावा, शोर और लापता जानकारी "छिपा" सकती है आउटलायर्स और आउटलायर डिटेक्शन की प्रभावशीलता को कम कर सकती है - एक आउटलायर "छिपा" शोर बिंदु के रूप में प्रकट हो सकता है, और एक आउटलायर डिटेक्शन दृष्टिकोण गलती से एक शोर बिंदु को आउटलायर के रूप में पहचान सकता है।
4. समझदारी (Understandability)
कुछ अनुप्रयोग विधियों में, एक उपयोगकर्ता को न केवल आउटलायर्स का पता लगाने की आवश्यकता हो सकती है, बल्कि यह भी सीखना होगा कि पता लगाई गई वस्तुएं आउटलायर क्यों हैं। समझदारी आवश्यकता को जोड़ने के लिए, एक आउटलायर डिटेक्शन तकनीक को पहचान के कुछ कारणों का समर्थन करना होगा।
उदाहरण के लिए, एक सांख्यिकीय दृष्टिकोण का उपयोग उस डिग्री को मान्य करने के लिए किया जा सकता है जिस तक कोई वस्तु इस संभावना के आधार पर आउटलायर हो सकती है कि वस्तु उसी संरचना द्वारा उत्पन्न की गई थी जिसने रिकॉर्ड के बहुमत को उत्पन्न किया। संभावना जितनी छोटी, वस्तु के उसी संरचना द्वारा उत्पादित होने की संभावना उतनी ही कम, और वस्तु के आउटलायर होने की संभावना उतनी ही अधिक स्वीकार्य।
