टेन-फोल्ड क्रॉस-वैलिडेशन किसी विशेष डेटासेट पर एक सीखने की योजना की त्रुटि दर को मापने का मानक तरीका है; विश्वसनीय परिणामों के लिए, 10 गुना टेन-फोल्ड क्रॉस-वैलिडेशन। दो विधियां हैं लीव-वन-आउट क्रॉस-वैलिडेशन और बूटस्ट्रैप।
लीव-वन-आउट क्रॉस-वैलिडेशन
लीव-वन-आउट क्रॉस-वैलिडेशन स्पष्ट रूप से n-फोल्ड क्रॉस-वैलिडेशन है, जहां n डेटासेट में कई उदाहरण हैं। प्रत्येक उदाहरण को बारी-बारी से छोड़ दिया जाता है, और सीखने की योजना को शेष सभी उदाहरणों पर प्रशिक्षित किया जाता है। इसकी शेष उदाहरण पर शुद्धता द्वारा गणना की जाती है - सफलता या विफलता के लिए एक या शून्य, तदनुसार। डेटासेट के प्रत्येक समूह के लिए सभी n निर्णयों के परिणामों का औसत निकाला जाता है, और वह औसत अंतिम त्रुटि अनुमान को परिभाषित करता है।
यह प्रक्रिया दो कारणों से दिलचस्प है। पहला, प्रत्येक मामले में प्रशिक्षण के लिए रिकॉर्ड की उच्चतम संभव मात्रा का उपयोग किया जा सकता है, जो संभवतः एक प्रामाणिक क्लासिफायर होने की संभावना में सुधार करता है।
दूसरा, प्रक्रिया नियतात्मक है - कोई यादृच्छिक नमूनाकरण शामिल नहीं है। इसे 10 बार दोहराने का कोई मतलब नहीं है, या इसे बिल्कुल भी दोहराने का नहीं। हर बार समान परिणाम प्राप्त होगा। इसके विपरीत उच्च कम्प्यूटेशनल लागत है क्योंकि पूरे सीखने के चरण को n बार निष्पादित किया जाना चाहिए और यह आमतौर पर बड़े डेटासेट के लिए अव्यवहार्य है।
बूटस्ट्रैप
हम जिस दूसरी अनुमान विधि का वर्णन करते हैं, बूटस्ट्रैप, रिप्लेसमेंट के साथ नमूनाकरण की सांख्यिकीय प्रक्रिया पर आधारित है। पहले, जब भी डेटासेट से एक नमूना लिया जाता था प्रशिक्षण या परीक्षण सेट बनाने के लिए, इसे बिना रिप्लेसमेंट के निकाला जाता था।
अधिकांश सीखने की योजनाएं एक ही उदाहरण का दो बार उपयोग कर सकती हैं, और यदि यह प्रशिक्षण सेट में दो बार मौजूद है तो यह सीखने के परिणाम में अंतर लाता है। बूटस्ट्रैप का विचार रिप्लेसमेंट के साथ डेटासेट का नमूना लेकर एक प्रशिक्षण सेट बनाना है। हम एक विशेष संस्करण का वर्णन करेंगे, जिसे रहस्यमय तरीके से (लेकिन एक कारण के लिए जो जल्द ही स्पष्ट हो जाएगा) 0.632 बूटस्ट्रैप कहा जाता है।
इसके लिए, n उदाहरणों के एक डेटासेट को n बार, रेस्टोरेशन के साथ, नमूना किया जाता है ताकि n उदाहरणों का एक अलग डेटासेट प्रदान किया जा सके। क्योंकि इस दूसरे डेटासेट में कुछ तत्व (लगभग निश्चित रूप से) दोहराए जाएंगे, मूल डेटासेट में कुछ उदाहरण ऐसे होंगे जिन्हें नहीं चुना गया है - हम इनका उपयोग परीक्षण उदाहरणों के रूप में करेंगे।
प्रशिक्षण सेट पर एक सीखने की प्रणाली को प्रशिक्षित करके और परीक्षण सेट पर इसकी त्रुटि की गणना करके प्राप्त आंकड़ा वास्तविक त्रुटि दर का एक निराशावादी अनुमान होगा क्योंकि प्रशिक्षण सेट, हालांकि इसका आकार n है, फिर भी केवल 63% उदाहरणों को समाहित करता है, जो कि टेन-फोल्ड क्रॉस-वैलिडेशन में उपयोग किए जाने वाले 90% की तुलना में बहुत अधिक नहीं है।
