डेटा माइनिंग में एक लगातार समस्या यह है कि एक प्रतिगमन समीकरण का उपयोग करके एक आश्रित चर के मूल्य का पूर्वानुमान लगाया जाए जब कई चर उपलब्ध हों जिन्हें इस मॉडल में भविष्यवक्ताओं के रूप में चुना जा सकता है।
एक और विचार कई चरों को इस उम्मीद में शामिल करने का पक्ष लेता है कि एक पहले से छिपा संबंध उभरेगा। उदाहरण के लिए, एक कंपनी ने पाया कि जिन ग्राहकों ने कुर्सी और टेबल पैरों के लिए एंटी-स्कफ प्रोटेक्टर खरीदे थे, उनका क्रेडिट जोखिम कम था।
एक मॉडल में सभी संभावित चरों को डालने से पहले सावधानी बरतने के कई कारण हैं।
अपेक्षित भविष्यवाणियों के लिए भविष्यवक्ताओं का पूरा पूरक सेट करना अत्यधिक महंगा या अव्यवहार्य हो सकता है।
कम भविष्यवक्ताओं को अधिक सही ढंग से गणना करना संभव हो सकता है (उदाहरण के लिए, सर्वेक्षणों में)।
भविष्यवक्ता जितने अधिक होंगे, डेटा में लापता मूल्यों की संभावना उतनी ही अधिक होगी। यदि हम लापता मूल्यों वाले रिकॉर्ड को हटाते हैं या भरते हैं, तो कई भविष्यवक्ता रिकॉर्ड हटाने या भरने की उच्च दर का कारण बनेंगे।
पार्सिमनी अच्छे मॉडल की एक आवश्यक विशेषता है। हम कुछ पैरामीटर्स वाले मॉडल में भविष्यवक्ताओं के प्रभाव में अधिक अंतर्दृष्टि प्राप्त करते हैं।
कई चरों वाले मॉडल में मल्टीकॉलीनियरिटी के कारण प्रतिगमन गुणांकों के अनुमान अस्पष्ट होने की संभावना है। (मल्टीकॉलीनियरिटी दो या दो से अधिक भविष्यवक्ताओं की उपस्थिति है जो परिणाम चर के साथ समान रैखिक संबंध साझा करते हैं।)
पार्सिमनी मॉडल के लिए प्रतिगमन गुणांक मजबूत होते हैं। एक बहुत मोटा नियम यह है कि कई रिकॉर्ड n, 5(p + 2) से बड़ा होना चाहिए, जहां p भविष्यवक्ताओं की संख्या है।
यह दिखाया जा सकता है कि परिणाम चर के साथ असंबद्ध भविष्यवक्ताओं का उपयोग भविष्यवाणियों की विचरण को बढ़ाता है।
यह दिखाया जा सकता है कि परिणाम चर के साथ सहसंबद्ध भविष्यवक्ताओं को छोड़ने से भविष्यवाणियों की औसत त्रुटि (बायस) बढ़ सकती है।
अंतिम दो बिंदु परिभाषित करते हैं कि बहुत कम और बहुत अधिक भविष्यवक्ताओं के बीच एक ट्रेड-ऑफ है। सामान्य तौर पर, कुछ बायस को स्वीकार करने से भविष्यवाणियों में विचरण कम हो सकता है। यह बायस-वेरिएंस ट्रेड-ऑफ कई भविष्यवक्ताओं के लिए विशेष रूप से आवश्यक है क्योंकि यह संभावना है कि मॉडल में ऐसे चर हैं जिनके छोटे गुणांक हैं जो शोर के मानक विचलन से मेल खाते हैं और अन्य चरों के साथ कम से कम मध्यम सहसंबंध भी देखते हैं।
ऐसे चरों को छोड़ने से भविष्यवाणियों में सुधार होगा, क्योंकि यह भविष्यवाणी विचरण को कम करता है। इस प्रकार का बायस-वेरिएंस ट्रेड-ऑफ भविष्यवाणी और वर्गीकरण के लिए डेटा माइनिंग प्रक्रियाओं का एक आवश्यक तत्व है।
