कई परिकल्पनाओं को जोड़ने के प्रभाव को बायस-वेरिएंस विघटन नामक एक सैद्धांतिक उपकरण के माध्यम से जांचा जा सकता है। मान लें कि समान आकार के अनंत अलग प्रशिक्षण सेट हो सकते हैं और उनका उपयोग अनंत क्लासिफायर बनाने के लिए किया जाता है।
एक टेस्ट उदाहरण को सभी क्लासिफायर द्वारा माना जाता है, और एक व्यक्तिगत उत्तर बल्क वोट द्वारा तय किया जाता है। इस स्थिति में, त्रुटियां दिखाई देंगी क्योंकि कोई सीखने का डिज़ाइन सही नहीं है। त्रुटि दर इस बात पर आधारित होगी कि मशीन लर्निंग दृष्टिकोण हाथ में समस्या से कितनी अच्छी तरह जुड़ते हैं, और डेटा में शोर का प्रभाव भी है, जिसे शायद ही सीखा जा सकता है।
मान लें कि अपेक्षित त्रुटि दर की गणना अनंत अलग-अलग चुने गए टेस्ट उदाहरणों पर संयुक्त क्लासिफायर की त्रुटि को औसत करके की गई थी। एक विशिष्ट सीखने के एल्गोरिदम के लिए त्रुटि दर को सीखने की समस्या के लिए इसके बायस के रूप में जाना जाता है और यह गणना करता है कि सीखने की विधि समस्या से कितनी अच्छी तरह मेल खाती है।
यह एक सीखने के एल्गोरिदम की "लगातार" त्रुटि की गणना करता है जिसे अनंत संख्या में प्रशिक्षण समूहों को ध्यान में रखकर भी हटाया नहीं जा सकता। इसे व्यावहारिक स्थितियों में सटीक रूप से गणना नहीं किया जा सकता; इसे केवल अनुमानित किया जा सकता है।
सीखे गए मॉडल में त्रुटि का दूसरा स्रोत उपयोग किए गए विशिष्ट प्रशिक्षण सेट से आता है, जो अनिवार्य रूप से सीमित है और इसलिए उदाहरणों की वास्तविक आबादी का पूरी तरह से प्रतिनिधि नहीं है।
दिए गए आकार के सभी संभावित प्रशिक्षण समूहों और सभी संभावित टेस्ट सेटों पर इस तत्व की अपेक्षित मूल्य, उस मुद्दे के लिए सीखने की विधि के वेरिएंस के रूप में जाना जाता है। एक क्लासिफायर की कुल अपेक्षित त्रुटि बायस और वेरिएंस के योग से बनी होती है - यह बायस-वेरिएंस विघटन है।
बायस-वेरिएंस विघटन वर्गीकरण के लिए स्थिति स्पष्ट नहीं है, और विभिन्न प्रतिस्पर्धी विघटन सुझाए गए हैं।
बैगिंग एक दिए गए प्रशिक्षण सेट का उपयोग करके पहले वर्णित चरण का अनुकरण करके सीखने के दृष्टिकोण की अस्थिरता को खत्म करने की कोशिश करता है। हर बार एक नया, अलग प्रशिक्षण डेटासेट नमूना करने के बजाय, प्रारंभिक प्रशिक्षण डेटा को कुछ उदाहरणों को हटाकर और दूसरों की प्रतिलिपि बनाकर बदल दिया जाता है। उदाहरणों को प्रारंभिक डेटासेट से यादृच्छिक रूप से, रेस्टोरेशन के साथ, नमूना किया जाता है ताकि समान आकार का एक नया बनाया जा सके। यह नमूनाकरण प्रक्रिया अनिवार्य रूप से कुछ उदाहरणों की प्रतिलिपि बनाती है और अन्य को हटा देती है।
रिसैंपलिंग द्वारा बनाए गए डेटासेट एक-दूसरे से भिन्न होते हैं लेकिन स्वतंत्र नहीं होते क्योंकि वे एक डेटासेट पर स्थापित होते हैं। हालांकि, यह पता चलता है कि बैगिंग एक संयुक्त मॉडल बनाता है जो प्रारंभिक प्रशिक्षण डेटा से निर्मित व्यक्तिगत मॉडल से काफी बेहतर प्रदर्शन करता है, और कभी भी अनिवार्य रूप से बदतर नहीं होता।
