विशेषता उपसमुच्चय चयन अप्रासंगिक या अनावश्यक विशेषताओं (या आयामों) को हटाकर डेटा सेट का आकार कम करता है। इसका उद्देश्य विशेषताओं का एक न्यूनतम सेट खोजना है जिससे डेटा वर्गों का परिणामी संभाव्यता वितरण मूल वितरण के जितना संभव हो उतना करीब हो, जो सभी विशेषताओं का उपयोग करके प्राप्त किया जाता है। कम विशेषताओं के सेट पर डेटा माइनिंग का एक अतिरिक्त लाभ है: यह खोजे गए पैटर्न में होने वाली कई विशेषताओं को कम करता है, जिससे पैटर्न को समझना आसान हो जाता है।
n विशेषताओं के लिए, 2ⁿ संभावित उपसमुच्चय होते हैं। विशेषताओं के इष्टतम उपसमुच्चय के लिए एक संपूर्ण खोज अत्यधिक महंगी हो सकती है, विशेष रूप से जब n और डेटा वर्गों की संख्या बढ़ती है। इस प्रकार, ह्यूरिस्टिक विधियां जो कम खोज स्थान का पता लगाती हैं, अक्सर विशेषता उपसमुच्चय चयन के लिए उपयोग की जाती हैं।
ये विधियां आमतौर पर लालची (greedy) होती हैं, क्योंकि विशेषता स्थान में खोज करते समय, वे हमेशा उस समय सबसे अच्छा विकल्प चुनती हैं। उनकी रणनीति स्थानीय रूप से इष्टतम विकल्प बनाने की होती है, इस आशा में कि यह वैश्विक रूप से इष्टतम समाधान की ओर ले जाएगा। ऐसे लालची दृष्टिकोण व्यवहार में कुशल होते हैं और इष्टतम समाधान का अनुमान लगाने के करीब आ सकते हैं।
सर्वोत्तम और सबसे खराब विशेषताओं को आमतौर पर सांख्यिकीय महत्व के परीक्षणों का उपयोग करके निर्धारित किया जाता है, जो मानते हैं कि विशेषताएं एक-दूसरे से स्वतंत्र हैं। कुछ अन्य विशेषता मूल्यांकन उपायों का उपयोग किया जा सकता है, जिसमें वर्गीकरण के लिए निर्णय वृक्ष बनाने में उपयोग किया जाने वाला सूचना लाभ माप शामिल है।
विशेषता उपसमुच्चय चयन की विधियां
चरणबद्ध फॉरवर्ड चयन (Stepwise Forward Selection): प्रक्रिया विशेषताओं के एक खाली सेट से शुरू होती है। मूल विशेषताओं में से सर्वोत्तम को निर्धारित किया जाता है और कम सेट में जोड़ा जाता है। प्रत्येक बाद के पुनरावृत्ति या चरण में, शेष मूल विशेषताओं में से सर्वोत्तम को सेट में डाला जाता है।
चरणबद्ध बैकवर्ड एलिमिनेशन (Stepwise Backward Elimination): प्रक्रिया विशेषताओं के पूर्ण सेट से शुरू होती है। प्रत्येक चरण में, यह सेट में शेष सबसे खराब विशेषता को हटा देती है।
फॉरवर्ड चयन और बैकवर्ड एलिमिनेशन का संयोजन: चरणबद्ध फॉरवर्ड चयन और बैकवर्ड एलिमिनेशन विधियों को जोड़ा जा सकता है ताकि प्रत्येक चरण में, प्रक्रिया सर्वोत्तम विशेषता का चयन करे और शेष विशेषताओं में से सबसे खराब को हटा दे।
निर्णय वृक्ष प्रेरण (Decision Tree Induction): ID3, C4.5, और CART जैसे निर्णय वृक्ष एल्गोरिदम मूल रूप से वर्गीकरण के लिए डिज़ाइन किए गए थे। निर्णय वृक्ष प्रेरण एक फ्लोचार्ट जैसी संरचना बनाता है जहां प्रत्येक आंतरिक (गैर-पत्ती) नोड एक विशेषता पर परीक्षण को दर्शाता है, प्रत्येक शाखा परीक्षण के परिणाम से मेल खाती है, और प्रत्येक बाहरी (पत्ती) नोड एक वर्ग भविष्यवाणी को दर्शाता है। प्रत्येक नोड पर, एल्गोरिदम डेटा को व्यक्तिगत वर्गों में विभाजित करने के लिए "सर्वोत्तम" विशेषता चुनता है।
