सांख्यिकी-आधारित एल्गोरिदम के दो प्रकार हैं:
रिग्रेशन (Regression): रिग्रेशन मुद्दे इनपुट मानों के आधार पर आउटपुट मूल्य के मूल्यांकन से निपटते हैं। जब वर्गीकरण के लिए उपयोग किया जाता है, तो इनपुट मान डेटाबेस से मान होते हैं और आउटपुट मान वर्गों को परिभाषित करते हैं। रिग्रेशन का उपयोग वर्गीकरण मुद्दों को स्पष्ट करने के लिए किया जा सकता है, लेकिन इसका उपयोग भविष्यवाणी सहित विभिन्न अनुप्रयोगों के लिए किया जाता है। रिग्रेशन का प्राथमिक रूप सरल रैखिक रिग्रेशन है जिसमें केवल एक प्रिडिक्टर और एक भविष्यवाणी शामिल है।
रिग्रेशन का उपयोग दो विभिन्न विधियों द्वारा वर्गीकरण को लागू करने के लिए किया जा सकता है:
विभाजन (Division): डेटा को वर्ग के आधार पर क्षेत्रों में विभाजित किया जाता है।
भविष्यवाणी (Prediction): आउटपुट क्लास के मूल्य की भविष्यवाणी करने के लिए सूत्र बनाए जाते हैं।
बेयसियन वर्गीकरण (Bayesian Classification): वर्गीकरण के लिए सांख्यिकीय क्लासिफायर का उपयोग किया जाता है। बेयसियन वर्गीकरण बेयस प्रमेय पर आधारित है। बड़े डेटाबेस पर लागू होने पर बेयसियन क्लासिफायर उच्च दक्षता और गति देखते हैं।
बेयस प्रमेय: मान लें X एक डेटा टुपल है। बेयसियन विधि में, X को "सबूत" माना जाता है। मान लें H कोई परिकल्पना है, जिसमें डेटा टुपल X एक विशेष वर्ग C से संबंधित है। संभावना P(H|X) डेटा को परिभाषित करने के लिए तय की जाती है। यह संभावना P(H|X) परिकल्पना H के प्रभाव की संभावना है जो "सबूत" या देखे गए डेटा टुपल X को देखते हुए होती है।
P(H|X), X पर सशर्त H की पोस्टेरियर संभावना है। उदाहरण के लिए, डेटा टुपल्स की प्रकृति को उपयोगकर्ताओं तक सीमित मान लें जिन्हें विशेषता उम्र और आय द्वारा परिभाषित किया गया है, आमतौर पर, और X 30 वर्षीय उपयोगकर्ता है जिसकी आय Rs. 20,000 है। मान लें H यह परिकल्पना है कि उपयोगकर्ता कंप्यूटर खरीदेगा। इस प्रकार P(H|X) उपयोगकर्ता X के कंप्यूटर खरीदने की संभावना को दर्शाता है बशर्ते उपयोगकर्ता की उम्र और आय ज्ञात हो।
P(H), H की पूर्व संभावना है। उदाहरण के लिए, यह संभावना है कि कोई भी दिया गया उपयोगकर्ता कंप्यूटर खरीदेगा, उम्र, आय, या किसी अन्य डेटा की परवाह किए बिना। पोस्टेरियर संभावना P(H|X) पूर्व संभावना P(H) की तुलना में अधिक डेटा पर आधारित है, जो X से स्वतंत्र है।
इसी तरह, P(X|H), H पर सशर्त X की पोस्टेरियर संभावना है। यह संभावना है कि उपयोगकर्ता X 30 वर्ष का है और Rs. 20,000 कमाता है।
P(H), P(X|H), और P(X) को दी गई जानकारी से मापा जा सकता है। बेयस प्रमेय पोस्टेरियर संभावना P(H|X) की गणना करने का एक तरीका प्रदान करता है, P(H), P(X|H), और P(X) से। यह द्वारा दिया जाता है:
$$P(H|X)=\frac{P(X|H)P(H)}{P(X)}$$