मूल विशेषताओं का एक अच्छा उपसमुच्चय कैसे खोज सकते हैं?

विशेषता उपसमुच्चय चयन अप्रासंगिक या अनावश्यक विशेषताओं (या आयामों) को हटाकर डेटा सेट का आकार कम करता है। विशेषता उपसमुच्चय चयन का उद्देश्य विशेषताओं का एक न्यूनतम सेट खोजना है ताकि डेटा वर्गों का बाद का संभाव्यता वितरण मूल वितरण के जितना संभव हो उतना करीब हो जो सभी विशेषताओं का उपयोग करके प्राप्त किया गया हो।

n विशेषताओं के लिए, 2n संभावित उपसमुच्चय हैं। विशेषताओं के इष्टतम उपसमुच्चय के लिए एक संपूर्ण खोज बेहद महंगी हो सकती है, विशेष रूप से जब n और डेटा वर्गों की संख्या बढ़ती है। इसलिए, ह्यूरिस्टिक दृष्टिकोण जो कम खोज स्थान का पता लगाते हैं, आमतौर पर विशेषता उपसमुच्चय चयन के लिए उपयोग किए जाते हैं।

ये दृष्टिकोण अक्सर लालची होते हैं जिसमें विशेषता स्थान के माध्यम से खोज करते समय, वे लगातार वही विकल्प चुनते हैं जो उस समय सबसे अच्छा लगता है। उनकी विधि स्थानीय रूप से इष्टतम विकल्प विकसित करने की है इस आशा में कि यह विश्व स्तर पर इष्टतम समाधान की ओर ले जाएगा। ऐसी लालची तकनीकें अभ्यास में कुशल हैं और एक इष्टतम समाधान की गणना करने के करीब आ सकती हैं।

"सर्वश्रेष्ठ" और "सबसे खराब" विशेषताओं को आमतौर पर सांख्यिकीय महत्व के परीक्षणों का उपयोग करके तय किया जाता है, जो मानते हैं कि विशेषताएं एक दूसरे से अलग हैं। कुछ अलग विशेषता मूल्यांकन उपायों का उपयोग किया जा सकता है, जिसमें वर्गीकरण के लिए निर्णय ट्री बनाने में उपयोग की जाने वाली सूचना लाभ माप शामिल है।

ह्यूरिस्टिक विधियाँ

चरणबद्ध अग्रेषण चयन (Stepwise Forward Selection)

प्रक्रिया विशेषताओं के एक शून्य सेट के साथ घटे हुए सेट के रूप में शुरू होती है। प्रारंभिक विशेषताओं में से सर्वश्रेष्ठ तय किया जाता है और घटे हुए सेट में डाला जाता है। प्रत्येक बाद की पुनरावृत्ति या चरण में, शेष प्रारंभिक विशेषताओं को सेट में डाला जाता है।

चरणबद्ध पिछड़ा उन्मूलन (Stepwise Backward Elimination)

प्रक्रिया विशेषताओं के पूर्ण सेट के साथ शुरू होती है। प्रत्येक चरण में, यह सेट में शेष सबसे खराब विशेषता को हटा देता है।

अग्रेषण चयन और पिछड़ा उन्मूलन का संयोजन

चरणबद्ध अग्रेषण चयन और पिछड़ा उन्मूलन तकनीकों को मिश्रित किया जा सकता है ताकि, प्रत्येक चरण में, प्रक्रिया सर्वश्रेष्ठ विशेषता का चयन करे और शेष विशेषताओं में से सबसे खराब को हटा दे।

निर्णय ट्री प्रेरण (Decision Tree Induction)

निर्णय ट्री एल्गोरिदम, जिसमें ID3, C4.5, और CART शामिल हैं, शुरू में वर्गीकरण के लिए डिज़ाइन किए गए थे। निर्णय ट्री प्रेरण एक फ्लोचार्ट-जैसी संरचना का निर्माण करती है जहां प्रत्येक आंतरिक (गैर-पत्ती) नोड एक विशेषता पर एक परीक्षण को दर्शाता है, प्रत्येक शाखा परीक्षण के परिणाम से मेल खाती है, और प्रत्येक बाहरी (पत्ती) नोड एक वर्ग भविष्यवाणी को दर्शाता है। प्रत्येक नोड पर, एल्गोरिदम जानकारी को एकल वर्गों में विभाजित करने के लिए "सर्वश्रेष्ठ" विशेषता का चयन करता है।

जब निर्णय ट्री प्रेरण का उपयोग विशेषता उपसमुच्चय चयन के लिए किया जाता है, तो दिए गए डेटा से एक ट्री बनाया जाता है। ट्री में नहीं आने वाली सभी विशेषताओं को अप्रासंगिक माना जाता है। ट्री में आने वाली विशेषताओं का समूह घटे हुए उपसमुच्चय का निर्माण करता है।