प्रशिक्षण के दौरान किसी मॉडल की सामान्यीकरण त्रुटि का आकलन करने के लिए कई तरीके हैं। अनुमानित त्रुटि मॉडल पसंद करने के लिए सीखने के एल्गोरिदम का समर्थन करती है; यानी, सही जटिलता का एक मॉडल खोजने के लिए जो ओवरफिटिंग से प्रभावित नहीं होता है।
क्योंकि मॉडल का निर्माण किया गया है, इसका उपयोग परीक्षण सेट में पहले के अनदेखे डेटा के वर्ग लेबल का पूर्वानुमान लगाने के लिए किया जा सकता है। परीक्षण सेट पर मॉडल के प्रदर्शन को मापने के लिए अक्सर उपयोगी होता है क्योंकि ऐसा उपाय इसकी सामान्यीकरण त्रुटि का निष्पक्ष अनुमान प्रदान करता है। परीक्षण सेट से मूल्यांकन की गई सटीकता या त्रुटि दर का उपयोग समान डोमेन पर कई क्लासिफायर के सहयोगी प्रदर्शन की तुलना करने के लिए किया जा सकता है।
क्लासिफायरियर के प्रदर्शन का मूल्यांकन करने के लिए आमतौर पर विभिन्न तरीकों का इस्तेमाल किया जाता है जो इस प्रकार हैं -
होल्डआउट विधि - होल्डआउट विधि में, लेबल किए गए उदाहरणों के साथ प्रारंभिक रिकॉर्ड को दो अलग-अलग सेटों में विभाजित किया जाता है, जिसे प्रशिक्षण और परीक्षण सेट के रूप में जाना जाता है। एक वर्गीकरण मॉडल को प्रशिक्षण सेट से प्रेरित किया जाता है और इसके कार्यान्वयन की गणना परीक्षण सेट पर की जाती है।
परीक्षण सेट पर प्रेरित मॉडल की दक्षता के आधार पर क्लासिफायरियर की दक्षता की गणना की जा सकती है। होल्डआउट विधि के कई प्रसिद्ध नुकसान हैं। सबसे पहले, कुछ लेबल किए गए उदाहरण प्रशिक्षण के लिए सुलभ हैं क्योंकि परीक्षण के लिए कई डेटा रोक दिए गए हैं।
नतीजतन, प्रेरित मॉडल उतना अच्छा नहीं हो सकता जब प्रशिक्षण के लिए कुछ लेबल किए गए उदाहरणों का उपयोग किया जाता है। दूसरा, मॉडल प्रशिक्षण और परीक्षण सेट की संरचना पर अत्यधिक निर्भर हो सकता है।
दूसरी ओर, यदि प्रशिक्षण सेट बहुत बड़ा है, तो छोटे परीक्षण सेट से गणना की गई अनुमानित सटीकता Iess विश्वसनीय है। इसलिए एक अनुमान का व्यापक विश्वास अंतराल होता है। अंत में, प्रशिक्षण और परीक्षण सेट एक दूसरे से अलग नहीं हैं।
यादृच्छिक सबसैंपलिंग - क्लासिफायर के कार्यान्वयन की गणना को बढ़ाने के लिए होल्डआउट विधि को कई बार दोहराया जा सकता है। इस विधि को यादृच्छिक सबसैंपलिंग कहा जाता है।
चलो acci i वें . के दौरान मॉडल सटीकता बनें पुनरावृत्ति समग्र सटीकता accsub . द्वारा दी गई है =$\mathrm{\displaystyle\sum\limits_{i=1}^k}$acci /के
रैंडम सबसैंपलिंग को होल्डआउट दृष्टिकोण से जुड़े कई मुद्दों का सामना करना पड़ता है क्योंकि यह उतना डेटा का उपयोग नहीं करता है जितना प्रशिक्षण के लिए लागू होता है। परीक्षण और प्रशिक्षण के लिए प्रत्येक डेटा का कई बार उपयोग किए जाने पर भी इसका कोई नियंत्रण नहीं है। इसलिए, कुछ डेटा का उपयोग दूसरों की तुलना में अधिक प्रशिक्षण के लिए किया जा सकता है।
क्रॉस-सत्यापन -:यादृच्छिक सबसैंपलिंग का एक विकल्प क्रॉस-सत्यापन है। इस पद्धति में, प्रत्येक डेटा को प्रशिक्षण के लिए कई बार और परीक्षण के लिए एक बार सटीक रूप से उपयोग किया जाता है। विचार करें कि यह रिकॉर्ड को दो समान आकार के सबसेट में विभाजित कर सकता है। सबसे पहले, यह प्रशिक्षण के लिए सबसेट में से एक का चयन कर सकता है और दूसरा परीक्षण के लिए। यह सबसेट की भूमिका को बदल सकता है ताकि पहले वाला प्रशिक्षण सेट परीक्षण सेट बन जाए। इस विधि को दोहरा क्रॉस-सत्यापन के रूप में जाना जाता है।