एक वर्गीकरण दृष्टिकोण जिसे काफी जांच मिली है वह है सपोर्ट वेक्टर मशीन (एसवीएम)। इस दृष्टिकोण की जड़ें सांख्यिकीय सीखने के सिद्धांत में हैं और हस्तलिखित अंकों की पहचान से लेकर पाठ वर्गीकरण तक, कई व्यावहारिक अनुप्रयोगों में आशाजनक अनुभवजन्य परिणाम प्रदर्शित किए हैं।
एसवीएम उच्च-आयामी डेटा के साथ भी काम करता है और आयामीता के मुद्दों के अभिशाप को रोकता है। इस दृष्टिकोण का दूसरा तत्व यह है कि यह प्रशिक्षण उदाहरणों के सबसेट का उपयोग करके निर्णय सीमा को परिभाषित करता है, जिसे समर्थन वैक्टर कहा जाता है।
इस प्रकार के हाइपरप्लेन को रैखिक रूप से वियोज्य डेटा में स्पष्ट रूप से देखने के लिए SVM तैयार किया जा सकता है। यह प्रदर्शित करके हासिल किया जा सकता है कि एसवीएम पद्धति को गैर-रैखिक रूप से अलग करने योग्य डेटा तक कैसे जारी रखा जा सकता है। डेटा सेट रैखिक रूप से वियोज्य है; यानी, यह हाइपरप्लेन की खोज कर सकता है जिसमें हाइपरप्लेन के एक तरफ रहने वाले सभी वर्ग और अलग-अलग तरफ रहने वाले सभी सर्कल शामिल हैं।
क्लासिफायरियर को अपनी निर्णय सीमा का वर्णन करने के लिए इनमें से किसी एक हाइपरप्लेन का चयन करना चाहिए, यह इस बात पर निर्भर करता है कि उन्हें परीक्षण उदाहरणों पर कितनी अच्छी तरह लागू करने की उम्मीद है। दो निर्णय सीमाओं, B1 और B2 पर विचार करें। दोनों निर्णय सीमाएँ कुछ गलत वर्गीकरण त्रुटियों को निष्पादित किए बिना प्रशिक्षण उदाहरणों को उनके विशिष्ट वर्गों में अलग कर सकती हैं। प्रत्येक निर्णय सीमा Bi हाइपरप्लेन की एक जोड़ी से संबंधित है, जिसे तदनुसार bi1 और bi2 के रूप में दर्शाया गया है।
Bi1 एक समानांतर हाइपरप्लेन को निर्णय सीमा से दूर तब तक प्राप्त किया जाता है जब तक कि यह निकटतम वर्ग (वर्गों) को संचार नहीं करता है, जबकि bi2 हाइपरप्लेन को बदलकर तब तक प्राप्त किया जाता है जब तक कि यह निकटतम सर्कल को संचार नहीं करता। इन दो हाइपरप्लेन के बीच की दूरी को क्लासिफायर का मार्जिन कहा जाता है।
उच्च मार्जिन वाली निर्णय सीमाएं कम मार्जिन वाले लोगों की तुलना में उच्च सामान्यीकरण त्रुटियों को प्रभावित करती हैं। यदि मार्जिन छोटा है, इसलिए निर्णय सीमा में कुछ मामूली गड़बड़ी इसके वर्गीकरण पर एक अनिवार्य प्रभाव डाल सकती है।
एक रेखीय क्लासिफायरियर के मार्जिन को उसकी सामान्यीकरण त्रुटि से संबंधित एक उचित विवरण एक सांख्यिकीय सीखने के सिद्धांत द्वारा दिया जाता है जिसे संरचनात्मक जोखिम न्यूनीकरण (एसआरएम) कहा जाता है। यह सिद्धांत अपनी प्रशिक्षण त्रुटि (Re), प्रशिक्षण उदाहरणों की संख्या (N) और इसकी क्षमता (h) नामक मॉडल जटिलता के संदर्भ में एक क्लासिफायरियर (R) की सामान्यीकरण त्रुटि के लिए एक ऊपरी सीमा का समर्थन करता है। अधिक स्पष्ट रूप से, 1 - n की संभावना के साथ, क्लासिफायरियर की सामान्यीकरण त्रुटि सबसे खराब हो सकती है
$$\mathrm{R\leq\:R_e\:+\varphi(\frac{h}{N},\frac{1og(n)}{N})}$$
जहां क्षमता h का एक मोनोटोन बढ़ता हुआ कार्य है। पूर्ववर्ती असमानता पाठकों के लिए परिचित हो सकती है क्योंकि यह न्यूनतम विवरण लंबाई (एमडीएल) सिद्धांत का अनुकरण करती है। SRM सामान्यीकरण त्रुटि को प्रशिक्षण त्रुटि और मॉडल जटिलता के बीच व्यापार-बंद के रूप में परिभाषित करने का एक और तरीका है।