एक वर्गीकरण दृष्टिकोण जिसे काफी जांच मिली है वह है सपोर्ट वेक्टर मशीन (एसवीएम)। इस दृष्टिकोण की जड़ें सांख्यिकीय सीखने के सिद्धांत में हैं और हस्तलिखित अंकों की पहचान से लेकर पाठ वर्गीकरण तक, कई व्यावहारिक अनुप्रयोगों में आशाजनक अनुभवजन्य परिणाम प्रदर्शित किए हैं।
एसवीएम उच्च-आयामी डेटा के साथ भी काम करता है और आयामीता के मुद्दों के अभिशाप को रोकता है। इस दृष्टिकोण का दूसरा तत्व यह है कि यह प्रशिक्षण उदाहरणों के सबसेट का उपयोग करके निर्णय सीमा को परिभाषित करता है, जिसे समर्थन वैक्टर कहा जाता है।
इस प्रकार के हाइपरप्लेन को रैखिक रूप से वियोज्य डेटा में स्पष्ट रूप से देखने के लिए SVM तैयार किया जा सकता है। यह प्रदर्शित करके हासिल किया जा सकता है कि एसवीएम पद्धति को गैर-रैखिक रूप से अलग करने योग्य डेटा तक कैसे जारी रखा जा सकता है। डेटा सेट रैखिक रूप से वियोज्य है; यानी, यह हाइपरप्लेन की खोज कर सकता है जिसमें हाइपरप्लेन के एक तरफ रहने वाले सभी वर्ग और अलग-अलग तरफ रहने वाले सभी सर्कल शामिल हैं।
एक रैखिक मॉडल की क्षमता इसके मार्जिन के साथ विपरीत रूप से जुड़ी होती है। छोटे मार्जिन वाले मॉडल में बड़ी क्षमता होती है क्योंकि वे गतिशील होते हैं और उच्च मार्जिन वाले मॉडल के विपरीत कुछ प्रशिक्षण सेट फिट कर सकते हैं। एसआरएम सिद्धांत के अनुसार, जैसे-जैसे क्षमता बढ़ती है, सामान्यीकरण त्रुटि बाध्यता बढ़ सकती है। इसलिए, रैखिक क्लासिफायर बनाना वांछनीय है जो उनकी निर्णय सीमाओं के मार्जिन को अधिकतम करते हैं ताकि उनकी सबसे खराब स्थिति सामान्यीकरण त्रुटियों को कम किया जा सके।
एक रैखिक एसवीएम एक क्लासिफायरियर है जो उच्चतम मार्जिन वाले हाइपरप्लेन की जांच करता है, जिसे अधिकतम मार्जिन क्लासिफायरियर कहा जाता है। यह सीख सकता है कि एसवीएम इस तरह की सीमा को कैसे सीखता है, यह एक रैखिक क्लासिफायरियर की निर्णय सीमा और मार्जिन के बारे में कुछ प्रारंभिक विश्लेषण से शुरू हो सकता है।
एसवीएम की विभिन्न विशेषताएं हैं जो इस प्रकार हैं -
एसवीएम सीखने की समस्या को उत्तल अनुकूलन मुद्दे के रूप में व्यवस्थित किया जा सकता है, जिसमें प्रभावी एल्गोरिदम वैश्विक न्यूनतम उद्देश्य फ़ंक्शन की खोज करने के लिए सुलभ हैं। नियम-आधारित क्लासिफायर और कृत्रिम तंत्रिका नेटवर्क सहित विभिन्न वर्गीकरण विधियां हैं, जो परिकल्पना क्षेत्र की खोज के लिए लालची-आधारित दृष्टिकोण को नियोजित करती हैं। ऐसी विधियां केवल स्थानीय रूप से इष्टतम समाधान खोजने को प्रभावित करती हैं।
एसवीएम निर्णय सीमा के मार्जिन को बढ़ाकर क्षमता नियंत्रण लागू करता है। उपयोगकर्ता को उपयोग करने के लिए कर्नेल फ़ंक्शन के प्रकार और प्रत्येक सुस्त चर की पेशकश के लिए लागत फ़ंक्शन C सहित कई पैरामीटर प्रदान करने चाहिए।
डेटा में दिखाए गए प्रत्येक श्रेणीबद्ध विशेषता मान के लिए डमी चर सीखकर एसवीएम का उपयोग श्रेणीबद्ध रिकॉर्ड के लिए किया जा सकता है। उदाहरण के लिए, यदि वैवाहिक स्थिति के तीन मान हैं जैसे एकल, विवाहित, तलाकशुदा और यह प्रत्येक विशेषता मान के लिए एक द्विआधारी चर सीख सकता है।