एक वर्गीकरण दृष्टिकोण जिसे काफी जांच मिली है वह है सपोर्ट वेक्टर मशीन (SVM)। इस दृष्टिकोण की जड़ें सांख्यिकीय सीखने के सिद्धांत में हैं और इसने कई व्यावहारिक अनुप्रयोगों में आशाजनक अनुभवजन्य परिणाम दिखाए हैं, हस्तलिखित अंक पहचान से लेकर टेक्स्ट वर्गीकरण तक।
SVM उच्च-आयामी डेटा के साथ भी काम करता है और आयाम के अभिशाप के मुद्दों को रोकता है। इस दृष्टिकोण का दूसरा तत्व यह है कि यह प्रशिक्षण उदाहरणों के एक उपसमुच्चय का उपयोग करके निर्णय सीमा को परिभाषित करता है, जिसे सपोर्ट वेक्टर कहा जाता है।
SVM को रैखिक रूप से अलग करने योग्य डेटा में इस प्रकार के हाइपरप्लेन को स्पष्ट रूप से देखने के लिए तैयार किया जा सकता है। यह दिखाकर प्राप्त किया जा सकता है कि SVM पद्धति को गैर-रैखिक रूप से अलग करने योग्य डेटा तक कैसे बढ़ाया जा सकता है। डेटा सेट रैखिक रूप से अलग करने योग्य है; यानी, यह एक हाइपरप्लेन खोज सकता है जिसमें सभी वर्ग एक तरफ रहते हैं और सभी वृत्त दूसरी तरफ।
एक रैखिक मॉडल की क्षमता उसके मार्जिन के व्युत्क्रमानुपाती होती है। छोटे मार्जिन वाले मॉडलों की क्षमता बड़ी होती है क्योंकि वे गतिशील होते हैं और कुछ प्रशिक्षण सेट को फिट कर सकते हैं, उन मॉडलों के विपरीत जिनके बड़े मार्जिन होते हैं। SRM सिद्धांत के अनुसार, जैसे-जैसे क्षमता बढ़ती है, सामान्यीकरण त्रुटि सीमा बढ़ सकती है। इसलिए, उनके निर्णय सीमाओं के मार्जिन को अधिकतम करने वाले रैखिक क्लासिफायर बनाना वांछनीय है ताकि यह सुनिश्चित हो सके कि उनके सबसे खराब स्थिति के सामान्यीकरण त्रुटियों को कम किया जाए।
एक रैखिक SVM एक क्लासिफायर है जो उच्चतम मार्जिन वाले हाइपरप्लेन की जांच करता है, जिसे मैक्सिमल मार्जिन क्लासिफायर कहा जाता है। यह सीख सकता है कि SVM ऐसी सीमा कैसे सीखता है, यह निर्णय सीमा और रैखिक क्लासिफायर के मार्जिन के बारे में कुछ प्रारंभिक विश्लेषण से शुरू कर सकता है।
SVM की विभिन्न विशेषताएं निम्नलिखित हैं -
SVM सीखने की समस्या को एक कन्वेक्स ऑप्टिमाइजेशन मुद्दे के रूप में व्यवस्थित किया जा सकता है, जिसमें प्रभावी एल्गोरिदम उद्देश्य फ़ंक्शन के वैश्विक न्यूनतम को खोजने के लिए सुलभ हैं। विभिन्न वर्गीकरण विधियों, जिसमें नियम-आधारित क्लासिफायर और कृत्रिम तंत्रिका नेटवर्क शामिल हैं, जो परिकल्पना क्षेत्र की खोज के लिए लालची-आधारित दृष्टिकोण अपनाते हैं। ऐसे तरीके केवल स्थानीय रूप से इष्टतम समाधान खोजने को प्रभावित करते हैं।
SVM निर्णय सीमा के मार्जिन को बढ़ाकर क्षमता नियंत्रण लागू करता है। उपयोगकर्ता को कई पैरामीटर प्रदान करने चाहिए जिसमें उपयोग करने के लिए कर्नेल फ़ंक्शन का प्रकार और प्रत्येक स्लैक वेरिएबल की पेशकश के लिए लागत फ़ंक्शन C शामिल है।
SVM डमी चर को प्रत्येक श्रेणीबद्ध विशेषता मूल्य के लिए सीखकर श्रेणीबद्ध रिकॉर्ड को संभालने के लिए उपयोग किया जा सकता है जो डेटा में दिखाया गया है। उदाहरण के लिए, यदि वैवाहिक स्थिति के तीन मूल्य हैं जैसे अविवाहित, विवाहित, तलाकशुदा और यह प्रत्येक विशेषता मूल्य के लिए एक बाइनरी चर सीख सकता है।
