क्लासिफायर के प्रदर्शन का मूल्यांकन करने की विधि क्या है?

प्रशिक्षण के दौरान एक मॉडल के सामान्यीकरण त्रुटि का अनुमान लगाने के लिए कई विधियां हैं। अनुमानित त्रुटि सीखने के एल्गोरिदम को मॉडल चयन करने में सहायता करती है; यानी, सही जटिलता के एक मॉडल की खोज करना जो ओवरफिटिंग से प्रभावित नहीं है।

क्योंकि मॉडल का निर्माण किया गया है, इसका उपयोग टेस्ट सेट पर पहले अनदेखे डेटा के क्लास लेबल का पूर्वानुमान लगाने के लिए किया जा सकता है। टेस्ट सेट पर मॉडल के प्रदर्शन को मापना अक्सर उपयोगी होता है क्योंकि ऐसा माप इसके सामान्यीकरण त्रुटि का एक निष्पक्ष अनुमान प्रदान करता है। टेस्ट सेट से मूल्यांकन की गई सटीकता या त्रुटि दर का उपयोग समान डोमेन पर कई क्लासिफायर के सापेक्ष प्रदर्शन की तुलना करने के लिए किया जा सकता है।

क्लासिफायर के प्रदर्शन का मूल्यांकन करने के लिए आमतौर पर उपयोग की जाने वाली विभिन्न विधियां निम्नलिखित हैं -

होल्डआउट विधि

होल्डआउट विधि में, लेबल वाले उदाहरणों के साथ मूल रिकॉर्ड को दो असंयुक्त सेट में विभाजित किया जाता है, जिन्हें क्रमशः प्रशिक्षण और टेस्ट सेट के रूप में जाना जाता है। एक वर्गीकरण मॉडल प्रशिक्षण सेट से प्रेरित होता है और इसके कार्यान्वयन की गणना टेस्ट सेट पर की जाती है।

क्लासिफायर की दक्षता की गणना टेस्ट सेट पर प्रेरित मॉडल की दक्षता के आधार पर की जा सकती है। होल्डआउट विधि के कई प्रसिद्ध नुकसान हैं। पहला, कुछ लेबल वाले उदाहरण प्रशिक्षण के लिए सुलभ हैं क्योंकि कई डेटा परीक्षण के लिए रोक दिए गए हैं।

परिणामस्वरूप, प्रेरित मॉडल उतना अच्छा नहीं हो सकता जितना कि जब कुछ लेबल वाले उदाहरण प्रशिक्षण के लिए उपयोग किए जाते हैं। दूसरा, मॉडल प्रशिक्षण और टेस्ट सेट की संरचना पर अत्यधिक निर्भर हो सकता है।

दूसरी ओर, यदि प्रशिक्षण सेट बहुत बड़ा है, तो छोटे टेस्ट सेट से गणना की गई अनुमानित सटीकता कम विश्वसनीय है। इसलिए एक अनुमान का एक व्यापक आत्मविश्वास अंतराल होता है। अंत में, प्रशिक्षण और टेस्ट सेट एक दूसरे से अधिक अलग नहीं हैं।

यादृच्छिक सबसैंपलिंग

होल्डआउट विधि को कई बार दोहराया जा सकता है ताकि क्लासिफायर के कार्यान्वयन की गणना में सुधार हो सके। इस विधि को यादृच्छिक सबसैंपलिंग कहा जाता है।

मान लें कि accᵢ i-वें पुनरावृत्ति के दौरान मॉडल सटीकता है। समग्र सटीकता acc_sub = Σᵢ accᵢ / k द्वारा दी जाती है।

यादृच्छिक सबसैंपलिंग होल्डआउट दृष्टिकोण से जुड़े कई मुद्दों का सामना करती है क्योंकि यह प्रशिक्षण के लिए उतना डेटा उपयोग नहीं करती जितना लागू होता है। इसका इस पर भी कोई नियंत्रण नहीं है कि प्रत्येक डेटा का उपयोग परीक्षण और प्रशिक्षण के लिए कितनी बार किया जाता है। इसलिए, कुछ डेटा का उपयोग दूसरों की तुलना में अधिक बार प्रशिक्षण के लिए किया जा सकता है।

क्रॉस-वैलिडेशन

यादृच्छिक सबसैंपलिंग का एक विकल्प क्रॉस-वैलिडेशन है। इस विधि में, प्रत्येक डेटा का उपयोग प्रशिक्षण के लिए कई बार और परीक्षण के लिए सटीक रूप से एक बार किया जाता है। मान लें कि यह रिकॉर्ड को दो समान आकार के उपसमुच्चय में विभाजित कर सकता है। पहले, यह प्रशिक्षण के लिए उपसमुच्चय में से एक का चयन कर सकता है और दूसरे के लिए परीक्षण। यह उपसमुच्चय की भूमिकाओं को बदल सकता है ताकि पहले का प्रशिक्षण सेट टेस्ट सेट बन जाए। इस विधि को टू-फोल्ड क्रॉस-वैलिडेशन के रूप में जाना जाता है।