सपोर्ट वेक्टर मशीन क्या है?

एक वर्गीकरण दृष्टिकोण जिसे काफी जांच मिली है वह है सपोर्ट वेक्टर मशीन (SVM)। इस दृष्टिकोण की जड़ें सांख्यिकीय सीखने के सिद्धांत में हैं और इसने कई व्यावहारिक अनुप्रयोगों में आशाजनक अनुभवजन्य परिणाम दिखाए हैं, हस्तलिखित अंक पहचान से लेकर टेक्स्ट वर्गीकरण तक।

SVM उच्च-आयामी डेटा के साथ काम करता है और आयाम के अभिशाप के मुद्दों को रोकता है। इस दृष्टिकोण का दूसरा तत्व यह है कि यह प्रशिक्षण उदाहरणों के एक उपसमुच्चय का उपयोग करके निर्णय सीमा को परिभाषित करता है, जिसे सपोर्ट वेक्टर कहा जाता है।

SVM को रैखिक रूप से अलग करने योग्य डेटा में इस प्रकार के हाइपरप्लेन को स्पष्ट रूप से देखने के लिए तैयार किया जा सकता है। यह दिखाकर प्राप्त किया जा सकता है कि SVM पद्धति को गैर-रैखिक रूप से अलग करने योग्य डेटा तक कैसे बढ़ाया जा सकता है। डेटा सेट रैखिक रूप से अलग करने योग्य है; यानी, यह एक हाइपरप्लेन खोज सकता है जिसमें सभी वर्ग एक तरफ रहते हैं और सभी वृत्त दूसरी तरफ।

क्लासिफायर को इन हाइपरप्लेन में से एक का चयन करना चाहिए ताकि उसकी निर्णय सीमा का वर्णन किया जा सके, यह इस बात पर निर्भर करता है कि वे टेस्ट उदाहरणों पर कितनी अच्छी तरह लागू होने की उम्मीद है। दो निर्णय सीमाओं, B1 और B2 पर विचार करें। दोनों निर्णय सीमाएं प्रशिक्षण उदाहरणों को किसी भी गलत वर्गीकरण त्रुटि को निष्पादित किए बिना उनकी विशिष्ट कक्षाओं में अलग कर सकती हैं। प्रत्येक निर्णय सीमा Bi हाइपरप्लेन की एक जोड़ी से संबंधित है, जिसे क्रमशः bi1 और bi2 के रूप में इंगित किया गया है।

bi1 को निर्णय सीमा से एक समानांतर हाइपरप्लेन को तब तक दूर ले जाकर प्राप्त किया जाता है जब तक कि यह निकटतम वर्ग (वर्गों) को संप्रेषित न करे, जबकि bi2 को हाइपरप्लेन को तब तक बदलकर प्राप्त किया जाता है जब तक कि यह निकटतम वृत्त (वृत्तों) को संप्रेषित न करे। इन दो हाइपरप्लेन के बीच की दूरी को क्लासिफायर का मार्जिन कहा जाता है।

उच्च मार्जिन वाली निर्णय सीमाओं का सामान्यीकरण त्रुटियां उन की तुलना में अधिक होती हैं जिनके मार्जिन कम होते हैं। यदि मार्जिन छोटा है, तो निर्णय सीमा में मामूली विक्षोभ का इसकी वर्गीकरण पर आवश्यक प्रभाव पड़ सकता है।

एक रैखिक क्लासिफायर के मार्जिन को उसकी सामान्यीकरण त्रुटि से संबंधित एक उचित विवरण संरचनात्मक जोखिम न्यूनीकरण (SRM) नामक एक सांख्यिकीय सीखने के सिद्धांत द्वारा दिया जाता है। यह सिद्धांत क्लासिफायर की सामान्यीकरण त्रुटि (R) के लिए एक ऊपरी सीमा प्रदान करता है इसके प्रशिक्षण त्रुटि (Re), प्रशिक्षण उदाहरणों की संख्या (N), और मॉडल जटिलता जिसे इसकी क्षमता (h) कहा जाता है, के संदर्भ में। अधिक स्पष्ट रूप से, 1 - n की संभावना के साथ, क्लासिफायर की सामान्यीकरण त्रुटि सबसे खराब हो सकती है

$$\mathrm{R\leq\:R_e\:+\varphi(\frac{h}{N},\frac{\log(n)}{N})}$$

जहां φ क्षमता h का एक मोनोटोन बढ़ता हुआ फ़ंक्शन है। पूर्ववर्ती असमानता पाठकों से परिचित हो सकती है क्योंकि यह न्यूनतम विवरण लंबाई (MDL) सिद्धांत का अनुकरण करती है। SRM सामान्यीकरण त्रुटि को प्रशिक्षण त्रुटि और मॉडल जटिलता के बीच ट्रेड-ऑफ के रूप में परिभाषित करने का एक और दृष्टिकोण है।