उच्च-आयामी डेटा में आउटलायर डिटेक्शन की चुनौतियां
उच्च-आयामी डेटा में आउटलायर डिटेक्शन की विभिन्न चुनौतियां निम्नलिखित हैं:
1. आउटलायर्स की व्याख्या (Interpretation of outliers)
उन्हें न केवल आउटलायर्स की पहचान करने में सक्षम होना चाहिए, बल्कि आउटलायर्स की व्याख्या का भी समर्थन करना चाहिए। क्योंकि एक उच्च-आयामी डेटा सेट में कई विशेषताएं (या आयाम) शामिल हैं, कुछ व्याख्या के बिना आउटलायर्स की पहचान करना कि वे आउटलायर क्यों हैं, बहुत उपयोगी नहीं है।
आउटलायर्स की व्याख्या निश्चित सबस्पेस से आ सकती है जो आउटलायर्स को प्रकट करते हैं या वस्तुओं की "आउटलियरनेस" के बारे में एक मूल्यांकन। ऐसी व्याख्या उपयोगकर्ताओं को आउटलायर्स के संभावित अर्थ और महत्व को सीखने में सहायता कर सकती है।
2. डेटा स्पार्सिटी (Data sparsity)
विधियों को उच्च-आयामी क्षेत्रों में स्पार्सिटी को संभालने में सक्षम होना चाहिए। वस्तुओं के बीच की दूरी आयाम बढ़ने के साथ शोर द्वारा भारी रूप से प्रभावित होती है। इस प्रकार, उच्च-आयामी क्षेत्रों में डेटा विरल होता है।
3. डेटा सबस्पेस (Data subspaces)
उन्हें आउटलायर्स को उचित रूप से मॉडल करना चाहिए, उदाहरण के लिए, आउटलायर्स को दर्शाने वाले सबस्पेस के अनुकूल होना और जानकारी के स्थानीय व्यवहार को प्राप्त करना। आउटलायर्स की पहचान करने के लिए कुछ सबस्पेस के खिलाफ एक निश्चित-दूरी थ्रेशोल्ड का उपयोग करना अच्छा विचार नहीं है क्योंकि दो वस्तुओं के बीच की दूरी आयाम बढ़ने के साथ नीरस रूप से बढ़ती है।
4. आयाम के संबंध में स्केलेबिलिटी (Scalability with respect to dimensionality)
जैसे-जैसे आयाम बढ़ता है, कई सबस्पेस तेजी से बढ़ते हैं। खोज स्थान का एक संपूर्ण संयोजन विश्लेषण, जिसमें कुछ संभावित सबस्पेस शामिल हैं, एक स्केलेबल विधि नहीं है।
उच्च-आयामी डेटा के लिए आउटलायर डिटेक्शन विधियां
उच्च-आयामी डेटा के लिए आउटलायर डिटेक्शन विधियों को तीन मुख्य विधियों में विभाजित किया जा सकता है:
1. पारंपरिक आउटलायर डिटेक्शन का विस्तार (Extending Conventional Outlier Detection)
उच्च-आयामी डेटा में आउटलायर डिटेक्शन के लिए एक विधि पारंपरिक आउटलायर डिटेक्शन विधियों में सुधार करती है। इसे आउटलायर्स के पारंपरिक निकटता-आधारित मॉडल की आवश्यकता होती है। उच्च-आयामी स्थानों में निकटता उपायों की गिरावट को दूर करने के लिए, इसे वैकल्पिक उपायों या सबस्पेस के निर्माण और वहां आउटलायर्स का पता लगाने की आवश्यकता होती है।
HilOut एल्गोरिदम इस विधि का एक उदाहरण है। HilOut दूरी-आधारित आउटलायर्स की खोज करता है, लेकिन आउटलायर डिटेक्शन में पूर्ण दूरी के बजाय दूरी के रैंक की आवश्यकता होती है। विशेष रूप से, प्रत्येक वस्तु o के लिए, HilOut o के k-निकटतम पड़ोसियों को ढूंढता है, जिसे nn₁(o),...,nnₖ(o) द्वारा दर्शाया जाता है, जहां k एक सॉफ्टवेयर-निर्भर पैरामीटर है।
वस्तु o का वजन इस प्रकार दर्शाया जाता है:
w(o) = Σᵢ₌₁ᵏ dist(o, nnᵢ(o))
2. सबस्पेस में आउटलायर्स ढूंढना (Finding Outliers in Subspaces)
उच्च-आयामी डेटा में आउटलायर डिटेक्शन के लिए दूसरी विधि कई सबस्पेस में आउटलायर्स की खोज करना है। एक विशिष्ट लाभ यह है कि, यदि किसी वस्तु को बहुत कम आयाम के सबस्पेस में आउटलायर माना जाता है, तो सबस्पेस यह बताने के लिए महत्वपूर्ण डेटा प्रदान करता है कि वस्तु क्यों और किस हद तक आउटलायर है। यह अत्यधिक आयामों की भारी संख्या के कारण उच्च-आयामी डेटा वाले अनुप्रयोगों में अत्यधिक मूल्यवान है।
3. उच्च-आयामी आउटलायर्स का मॉडलिंग (Modeling High-Dimensional Outliers)
उच्च-आयामी डेटा में आउटलायर डिटेक्शन विधियों के लिए एक वैकल्पिक विधि उच्च-आयामी आउटलायर्स के लिए सटीक रूप से नए मॉडल बनाने का प्रयास करती है।
