निकटतम पड़ोसी नियम अक्सर उच्च प्रदर्शन उत्पन्न करता है, बिना किसी पूर्व धारणा के कि प्रशिक्षण उदाहरण किस वितरण से लिए गए हैं। इसमें सकारात्मक और नकारात्मक दोनों मामलों का एक प्रशिक्षण सेट शामिल है। एक नए नमूने को सुविधाजनक प्रशिक्षण मामले की दूरी की गणना करके वर्गीकृत किया जाता है; उस बिंदु का चिह्न तब नमूने के वर्गीकरण का फैसला करता है।
k-NN क्लासिफायर इस अवधारणा को k निकटतम बिंदुओं को लेकर और बहुमत के चिह्न को बनाकर बढ़ाता है। k को छोटा और विषम चुनना आम है ताकि टाई को विभाजित किया जा सके (आमतौर पर 1, 3, या 5)। बड़े k मान प्रशिक्षण डेटा सेट के अंदर शोर बिंदुओं के प्रभाव को कम करने में मदद करते हैं, और k का चयन क्रॉस-वैलिडेशन के माध्यम से लागू किया जाता है।
निकटतम-पड़ोसी की कई विशेषताएं निम्नलिखित हैं -
निकटतम-पड़ोसी वर्गीकरण इंस्टेंस-आधारित सीखने नामक अधिक सामान्य दृष्टिकोण का एक तत्व है। इसे डेटा से प्राप्त अमूर्तता (या मॉडल) का समर्थन किए बिना भविष्यवाणियां बनाने के लिए विशिष्ट प्रशिक्षण उदाहरणों की आवश्यकता होती है।
इंस्टेंस-आधारित सीखने के एल्गोरिदम को उदाहरणों के बीच समानता या दूरी तय करने के लिए एक निकटता माप की आवश्यकता होती है और एक वर्गीकरण फ़ंक्शन जो टेस्ट उदाहरण की अन्य उदाहरणों से निकटता के आधार पर टेस्ट उदाहरण की अनुमानित कक्षा को पुनर्स्थापित करता है।
निकटतम-पड़ोसी क्लासिफायर जैसे आलसी शिक्षार्थियों को मॉडल निर्माण की आवश्यकता नहीं होती। लेकिन एक टेस्ट उदाहरण को वर्गीकृत करना काफी महंगा हो सकता है क्योंकि टेस्ट और प्रशिक्षण उदाहरणों के बीच निकटता मूल्यों की व्यक्तिगत रूप से गणना करना आवश्यक है। इसके विपरीत, उत्सुक शिक्षार्थी अपने कंप्यूटिंग संसाधनों का बड़ा हिस्सा मॉडल निर्माण के लिए खर्च करते हैं। क्योंकि एक मॉडल बनाया गया है, एक टेस्ट उदाहरण को वर्गीकृत करना पूरी तरह से तेज है।
निकटतम-पड़ोसी क्लासिफायर स्थानीय डेटा के आधार पर अपनी भविष्यवाणियां बनाते हैं, जबकि निर्णय वृक्ष और नियम-आधारित क्लासिफायर पूरे इनपुट स्पेस को फिट करने वाले एक वैश्विक मॉडल को खोजने की कोशिश करते हैं। वर्गीकरण निर्णय स्थानीय रूप से बनाए जाने के कारण, निकटतम-पड़ोसी क्लासिफायर शोर से प्रभावित होते हैं।
निकटतम-पड़ोसी क्लासिफायर मनमाने आकार की निर्णय सीमाएं बना सकते हैं। ऐसी सीमाएं निर्णय वृक्ष और नियम-आधारित क्लासिफायर से अलग एक अधिक लचीला मॉडल प्रतिनिधित्व प्रदान करती हैं जो आयताकार निर्णय सीमाओं तक सीमित हैं।
निकटतम-पड़ोसी क्लासिफायर गलत भविष्यवाणियां कर सकते हैं जब तक कि उपयुक्त निकटता माप और डेटा प्रीप्रोसेसिंग चरण नहीं लिए जाते। उदाहरण के लिए, मान लें कि लोगों के एक सेट को ऊंचाई (मीटर में मापी गई) और वजन (पाउंड में मापा गया) जैसी विशेषताओं के आधार पर वर्गीकृत करना आवश्यक है।
ऊंचाई विशेषता में कम परिवर्तनशीलता होती है, 1.5 मीटर से 1.85 मीटर तक, जबकि वजन विशेषता 90 पाउंड से 250 पाउंड तक बदल सकती है। यदि विशेषताओं के पैमाने को आवेदन में नहीं लिया जाता है, तो निकटता माप किसी व्यक्ति के वजन में अंतर से प्रभावित हो सकता है।
