निकटतम पड़ोसी नियम आवंटन के बारे में पिछली धारणाओं के बिना अक्सर उच्च प्रदर्शन उत्पन्न करता है, जिससे प्रशिक्षण उदाहरण तैयार किए जाते हैं। इसमें सकारात्मक और नकारात्मक दोनों मामलों का एक प्रशिक्षण सेट शामिल है। सुविधाजनक प्रशिक्षण मामले की दूरी की गणना करके एक नया नमूना परिभाषित किया गया है; उस बिंदु का चिन्ह तब नमूने का वर्गीकरण तय करता है।
k-NN क्लासिफायर k को निकटतम अंक लेकर और बहुमत का चिन्ह बनाकर इस अवधारणा को बढ़ाता है। संबंधों को विभाजित करने के लिए k छोटा और विषम चुनना अक्सर होता है (आमतौर पर 1, 3, या 5)। बड़े k मान प्रशिक्षण डेटा सेट के अंदर शोर बिंदुओं के प्रभाव को कम करने में मदद करते हैं, और k के विकल्प को क्रॉस-सत्यापन के माध्यम से लागू किया जाता है।
निकटतम-पड़ोसी की कई विशेषताएं हैं जो इस प्रकार हैं -
निकटतम-पड़ोसी वर्गीकरण अधिक सामान्य दृष्टिकोणों का एक तत्व है जिसे उदाहरण-आधारित शिक्षा कहा जाता है। डेटा से प्राप्त एक अमूर्त (या मॉडल) का समर्थन किए बिना भविष्यवाणियां बनाने के लिए इसे विशिष्ट प्रशिक्षण उदाहरणों की आवश्यकता होती है।
इंस्टेंस-आधारित लर्निंग एल्गोरिदम को इंस्टेंस के बीच समानता या दूरी तय करने के लिए एक निकटता माप की आवश्यकता होती है और एक वर्गीकरण फ़ंक्शन जो अन्य इंस्टेंस के निकटता के आधार पर एक परीक्षण इंस्टेंस के अनुमानित वर्ग को पुनर्स्थापित करता है।
निकटतम-पड़ोसी क्लासिफायर सहित आलसी शिक्षार्थियों को मॉडल निर्माण की आवश्यकता नहीं है। लेकिन एक परीक्षण उदाहरण को परिभाषित करना काफी सस्ता हो सकता है क्योंकि परीक्षण और प्रशिक्षण उदाहरणों के बीच व्यक्तिगत रूप से निकटता मूल्यों की गणना करना आवश्यक है। इसके विपरीत, उत्सुक शिक्षार्थी अपने कंप्यूटिंग संसाधनों की संख्या मॉडल निर्माण के लिए खर्च करते हैं। क्योंकि एक मॉडल का निर्माण किया गया है, एक परीक्षण उदाहरण को परिभाषित करना पूरी तरह से त्वरित है।
निकटतम-पड़ोसी क्लासिफायर स्थानीय डेटा के आधार पर अपनी भविष्यवाणियां बनाते हैं, जबकि निर्णय ट्री और नियम-आधारित क्लासिफायर एक वैश्विक मॉडल की खोज करने का प्रयास करते हैं जो पूरे इनपुट स्पेस में फिट बैठता है। वर्गीकरण निर्णय स्थानीय रूप से बनाए जाने के कारण, निकटतम-पड़ोसी क्लासिफायर शोर से प्रभावित होते हैं।
निकटतम-पड़ोसी क्लासिफायरियर मनमाने ढंग से आकार की निर्णय सीमाएँ बना सकते हैं। इस तरह की सीमाएं निर्णय वृक्ष और नियम-आधारित क्लासिफायर से अलग एक अधिक गतिशील मॉडल प्रतिनिधित्व का समर्थन करती हैं जो निर्णय सीमाओं को सीधा करने के लिए मजबूर होते हैं।
निकटतम-पड़ोसी क्लासिफायरियर गलत भविष्यवाणियां कर सकते हैं जब तक कि उपयुक्त निकटता उपाय और डेटा प्रीप्रोसेसिंग चरणों को नहीं लिया जाता है। उदाहरण के लिए, मान लें कि ऊंचाई (मीटर में मापा गया) और वजन (पाउंड में मापा गया) जैसी विशेषताओं के आधार पर लोगों के एक समूह को परिभाषित करना आवश्यक है।
ऊंचाई विशेषता में कम परिवर्तनशीलता है, 1.5 मीटर से 1.85 मीटर तक, जबकि वजन विशेषता 90 एलबी से 250 एलबी तक बदल सकती है। यदि विशेषताओं के पैमाने को आवेदन में नहीं लिया जाता है, तो निकटता माप का प्रभुत्व हो सकता है किसी व्यक्ति के वजन में अंतर।