k-निकटतम-पड़ोसी एल्गोरिदम एक वर्गीकरण दृष्टिकोण है जो कक्षा सदस्यता (Y) और भविष्यवक्ताओं X₁, X₂, ... Xₙ के बीच संबंध की संरचना के बारे में धारणा नहीं बनाता है।
यह एक नॉनपैरामीट्रिक दृष्टिकोण है क्योंकि इसमें एक ढीले फ़ंक्शन रूप में पैरामीटर्स के अनुमान शामिल नहीं हैं, जिसमें रैखिक प्रतिगमन में ढीले रैखिक रूप शामिल हैं। यह विधि डेटासेट में डेटा के भविष्यवक्ता मूल्यों के बीच समानताओं से डेटा खींचती है।
k-NN विधियों का लाभ उनकी अखंडता और पैरामीट्रिक मान्यताओं की आवश्यकता नहीं है। एक बड़े प्रशिक्षण सेट की उपस्थिति में, ये दृष्टिकोण विशेष रूप से अच्छा प्रदर्शन करते हैं, जब प्रत्येक कक्षा को भविष्यवक्ता मूल्यों के कई संयोजनों द्वारा चित्रित किया जाता है।
उदाहरण के लिए, रियल-एस्टेट डेटाबेस में, {घर का प्रकार, कमरों की संख्या, पड़ोस, पूछ मूल्य, आदि} के कई सेट होने की संभावना है जो तेजी से बिकने वाले घरों बनाम उन घरों को चित्रित करते हैं जो लंबे समय तक उद्योग में रहते हैं।
k-NN विधि की शक्ति के यथार्थवादी शोषण के साथ तीन कठिनाइयां हैं।
हालांकि प्रशिक्षण डेटा से पैरामीटर्स की गणना के लिए किसी समय की आवश्यकता नहीं है (जैसा कि प्रतिगमन सहित पैरामीट्रिक मॉडल के लिए होगा), एक बड़े प्रशिक्षण सेट में निकटतम पड़ोसियों को खोजने में लगने वाला समय प्रतिबंधात्मक हो सकता है। इस कठिनाई को दूर करने के लिए कई अवधारणाएं लागू की गई हैं। मुख्य अवधारणा निम्नानुसार है -
प्लस के आयाम में कमी तकनीकों जैसे प्रिंसिपल कंपोनेंट्स विश्लेषण का उपयोग करके कम आयाम में काम करके दूरी की गणना में लगने वाले समय को कम किया जा सकता है।
सर्च ट्री जैसे परिष्कृत डेटा संरचनाओं का उपयोग निकटतम पड़ोसी की पहचान को गति देने के लिए किया जा सकता है। यह विधि अक्सर गति बढ़ाने के लिए "लगभग निकटतम" पड़ोसी के लिए समझौता करती है। एक उदाहरण बकेटिंग का उपयोग कर रहा है, जहां डेटा को बकेट में जोड़ा जाता है ताकि प्रत्येक बकेट के अंदर डेटा एक-दूसरे के करीब हो।
बड़े के रूप में अर्हता प्राप्त करने के लिए प्रशिक्षण सेट में आवश्यक कई डेटा भविष्यवक्ताओं की संख्या p के साथ घातीय रूप से बढ़ता है। ऐसा इसलिए है क्योंकि निकटतम पड़ोसी की अपेक्षित दूरी p के साथ बुरी तरह से बढ़ जाती है जब तक कि प्रशिक्षण सेट की मात्रा p के साथ घातीय रूप से न बढ़े। इस घटना को आयाम का अभिशाप कहा जाता है, जो कुछ वर्गीकरण, भविष्यवाणी और क्लस्टरिंग दृष्टिकोणों के लिए प्रासंगिक एक मौलिक समस्या है।
k-NN एक "आलसी शिक्षार्थी" है - समय लेने वाली गणना भविष्यवाणी के समय तक विलंबित होती है। भविष्यवाणी किए जाने वाले प्रत्येक डेटा के लिए, यह केवल भविष्यवाणी के समय पर प्रशिक्षण डेटा के पूर्ण सेट से इसकी दूरी की गणना कर सकता है। यह व्यवहार एक साथ कई डेटा की वास्तविक समय भविष्यवाणी के लिए इस एल्गोरिदम के उपयोग को बाधित करता है।
