सामान्यीकृत रैखिक मॉडल उस सैद्धांतिक प्राधिकरण को परिभाषित करते हैं जिस पर रैखिक प्रतिगमन का उपयोग श्रेणीबद्ध प्रतिक्रिया चर के मॉडलिंग के लिए किया जा सकता है। सामान्यीकृत रैखिक मॉडल में, प्रतिक्रिया चर, y, का विचलन y के माध्य मूल्य का एक फलन है, रैखिक प्रतिगमन के विपरीत, जहां y का विचलन स्थिर है।
सामान्यीकृत रैखिक मॉडल (GLMs) पारंपरिक रैखिक मॉडल का विस्तार हैं। यह एल्गोरिदम लॉग-लिकेलिहुड को अधिकतम करके जानकारी के लिए सामान्यीकृत रैखिक मॉडल फिट करता है। पैरामीटर नियमितीकरण के लिए इलास्टिक नेट पेनल्टी का उपयोग किया जा सकता है। मॉडल फिटिंग गणना समानांतर, पूरी तरह से तेज है, और गैर-शून्य गुणांक वाले पूर्वानुमानकर्ताओं की एक निश्चित संख्या के साथ मॉडल के लिए पूरी तरह से अच्छी तरह से स्केल करती है।
सामान्यीकृत रैखिक मॉडल के दो प्रकार हैं जैसे लॉजिस्टिक प्रतिगमन और पॉइसन प्रतिगमन। लॉजिस्टिक प्रतिगमन एक पूर्वानुमानकर्ता चर के समूह के रैखिक फ़ंक्शन के रूप में विभिन्न घटनाओं के प्रकट होने की संभावना को मॉडल करता है। गणना डेटा अक्सर एक पॉइसन वितरण प्रदर्शित करते हैं और आमतौर पर पॉइसन प्रतिगमन का उपयोग करके मॉडल किए जाते हैं।
लॉग-रैखिक मॉडल असतत बहुआयामी संभावना वितरण को सटीक करते हैं। उनका उपयोग डेटा क्यूब सेल्स से संबंधित संभावना मूल्य की गणना के लिए किया जा सकता है। उदाहरण के लिए, मान लीजिए कि शहर, आइटम, वर्ष, और बिक्री के लिए विशेषताओं के लिए डेटा दिया गया है। लॉग-रैखिक दृष्टिकोण में, सभी विशेषताएं श्रेणीबद्ध होनी चाहिए और इस प्रकार निरंतर-मूल्यवान विशेषताएं (जैसे बिक्री) को असतत किया जाना चाहिए।
दृष्टिकोण का उपयोग दी गई विशेषताओं के लिए 4-D बेस क्यूबॉइड में प्रत्येक सेल की संभावना की गणना के लिए किया जा सकता है, शहर और आइटम, शहर और वर्ष, शहर और बिक्री के लिए 2-D क्यूबॉइड्स पर निर्भर, और आइटम, वर्ष, और बिक्री के लिए 3-D क्यूबॉइड। इस तरह, एक पुनरावृत्त दृष्टिकोण का उपयोग निम्न-क्रम वालों से उच्च-श्रृंखला डेटा क्यूब्स बनाने के लिए किया जा सकता है।
विधि कई आयामों को सक्षम करने के लिए अच्छी तरह से स्केल करती है। भविष्यवाणी के अलावा, लॉग-रैखिक मॉडल डेटा संपीड़न (क्योंकि निम्न-क्रम क्यूबॉइड्स आमतौर पर बेस क्यूबॉइड की तुलना में कम जगह घेरते हैं) और डेटा स्मूथिंग (क्योंकि निम्न-क्रम क्यूबॉइड्स में सेल गणना बेस क्यूबॉइड में सेल गणना की तुलना में नमूना विविधताओं पर कम निर्भर होती हैं) के लिए फायदेमंद है।
निर्णय वृक्ष प्रवर्तन को लगातार (क्रमबद्ध) मूल्यों की भविष्यवाणी करने के लिए उपयुक्त बनाया जा सकता है, क्लास लेबल के बजाय। भविष्यवाणी के लिए दो प्रकार के ट्री हैं: प्रतिगमन ट्री और मॉडल ट्री। प्रतिगमन ट्री CART सीखने प्रणाली के एक तत्व के रूप में सुझाए गए थे।
प्रत्येक प्रतिगमन ट्री लीफ एक निरंतर-मूल्यवान भविष्यवाणी को बचाता है, जो उस लीफ को समझने वाले प्रशिक्षण टुपल्स के लिए अनुमानित विशेषता का औसत मूल्य है। इसके विपरीत, मॉडल ट्री में, प्रत्येक लीफ अनुमानित विशेषता के लिए एक प्रतिगमन मॉडल और एक बहुचर रैखिक समीकरण को प्रभावित करता है। जब डेटा एक साधारण रैखिक मॉडल द्वारा अच्छी तरह से परिभाषित नहीं होते हैं, तो प्रतिगमन और मॉडल ट्री रैखिक प्रतिगमन की तुलना में अधिक कुशल होते हैं।
