बेयसियन क्लासिफायर सांख्यिकीय क्लासिफायर हैं। वे क्लास सदस्यता संभावनाओं की भविष्यवाणी कर सकते हैं, जैसे कि दिए गए नमूने के किसी विशेष वर्ग से संबंधित होने की संभावना। बड़े डेटाबेस पर लागू होने पर बेयसियन क्लासिफायर ने उच्च सटीकता और गति भी दिखाई है।
एक बार वर्ग परिभाषित हो जाने पर, सिस्टम को उन नियमों का अनुमान लगाना चाहिए जो वर्गीकरण को नियंत्रित करते हैं, इसलिए सिस्टम को प्रत्येक वर्ग के विवरण को खोजने में सक्षम होना चाहिए। विवरण केवल प्रशिक्षण सेट की भविष्यवाणी विशेषताओं को संदर्भित करना चाहिए ताकि केवल सकारात्मक उदाहरण विवरण को संतुष्ट करें, नकारात्मक उदाहरण नहीं। एक नियम को सही कहा जाता है यदि इसका विवरण सभी सकारात्मक उदाहरणों को कवर करता है और किसी वर्ग का कोई नकारात्मक उदाहरण कवर नहीं किया जाता है।
यह मानते हुए कि सभी विशेषताओं द्वारा योगदान स्वतंत्र हैं और प्रत्येक वर्गीकरण समस्या में समान रूप से योगदान देता है, नाइव बेयस वर्गीकरण नामक एक सरल वर्गीकरण योजना। प्रत्येक "स्वतंत्र" विशेषता के योगदान का विश्लेषण करके, एक सशर्त संभावना निर्धारित की जाती है। विभिन्न विशेषताओं के प्रभाव को जोड़कर भविष्यवाणी करने के लिए एक वर्गीकरण किया जाता है।
नाइव बेयस वर्गीकरण को नाइव कहा जाता है क्योंकि यह क्लास सशर्त स्वतंत्रता मानता है। दिए गए वर्ग पर एक विशेषता मान का प्रभाव अन्य विशेषताओं के मूल्यों से स्वतंत्र है। इस धारणा को कम्प्यूटेशनल लागत को कम करने के लिए बनाया गया है और इसलिए इसे नाइव माना जाता है।
बेयस प्रमेय (Bayes Theorem)
मान लें X एक डेटा टुपल है। बेयसियन शर्तों में, X को "सबूत" माना जाता है। मान लें H कोई परिकल्पना है, जैसे कि डेटा टुपल X एक निर्दिष्ट वर्ग C से संबंधित है। संभावना P(H|X) डेटा को वर्गीकृत करने के लिए निर्धारित की जाती है। यह संभावना P(H|X) परिकल्पना H के प्रभाव की संभावना है जो "सबूत" या देखे गए डेटा टुपल X को देखते हुए होती है।
P(H|X), X पर सशर्त H की पोस्टेरियर संभावना है। उदाहरण के लिए, डेटा टुपल्स की दुनिया को विशेषता उम्र और आय द्वारा वर्णित ग्राहकों तक सीमित मान लें, क्रमशः, और X 30 वर्षीय ग्राहक है जिसकी आय Rs. 20,000 है। मान लें H यह परिकल्पना है कि ग्राहक कंप्यूटर खरीदेगा। तब P(H|X) ग्राहक X के कंप्यूटर खरीदने की संभावना को दर्शाता है बशर्ते ग्राहक की उम्र और आय ज्ञात हो।
P(H), H की पूर्व संभावना है। उदाहरण के लिए, यह संभावना है कि कोई भी दिया गया ग्राहक कंप्यूटर खरीदेगा, उम्र, आय, या किसी अन्य जानकारी की परवाह किए बिना। पोस्टेरियर संभावना P(H|X) पूर्व संभावना P(H) की तुलना में अधिक जानकारी पर आधारित है, जो X से स्वतंत्र है।
इसी तरह, P(X|H), H पर सशर्त X की पोस्टेरियर संभावना है। यह संभावना है कि ग्राहक X 30 वर्ष का है और Rs. 20,000 कमाता है।
P(H), P(X|H), और P(X) को दिए गए डेटा से अनुमानित किया जा सकता है। बेयस प्रमेय पोस्टेरियर संभावना P(H|X) की गणना करने का एक तरीका प्रदान करता है, P(H), P(X|H), और P(X) से। यह द्वारा दिया जाता है:
$$P(H|X)=\frac{P(X|H)P(H)}{P(X)}$$