k-निकटतम-पड़ोसी एल्गोरिदम एक वर्गीकरण दृष्टिकोण है जो कक्षा सदस्यता (Y) और भविष्यवक्ताओं X₁, X₂, ... Xₙ के बीच संबंध की संरचना के बारे में धारणा नहीं बनाता है।
यह एक नॉनपैरामीट्रिक दृष्टिकोण है क्योंकि इसमें एक ढीले फ़ंक्शन रूप में पैरामीटर्स के अनुमान शामिल नहीं हैं, जिसमें रैखिक प्रतिगमन में ढीले रैखिक रूप शामिल हैं। यह दृष्टिकोण डेटासेट में डेटा के भविष्यवक्ता मूल्यों के बीच समानताओं से डेटा खींचता है।
k-निकटतम-पड़ोसी विधियों की अवधारणा प्रशिक्षण डेटासेट में k रिकॉर्ड को पहचानना है जो नए डेटा के समान हैं जिन्हें वर्गीकृत करना आवश्यक है। यह नए रिकॉर्ड को एक कक्षा में परिभाषित करने के लिए इन समान (पड़ोसी) रिकॉर्ड का उपयोग कर सकता है, नए डेटा को इन पड़ोसियों के बीच प्रमुख कक्षा में बना सकता है। यह इस नए रिकॉर्ड के भविष्यवक्ताओं के मूल्यों को X₁, X₂, ... Xₙ द्वारा इंगित करता है।
एक केंद्रीय प्रश्न यह है कि उनके भविष्यवक्ता मूल्यों के आधार पर डेटा के बीच दूरी की गणना कैसे करें। दूरी का प्रसिद्ध माप यूक्लिडियन दूरी है। दो रिकॉर्ड (X₁, X₂, ... Xₙ) और (U₁, U₂, ... Uₙ) के बीच यूक्लिडियन दूरी है
$$\mathrm{\sqrt{(X_1-U_1)^2+(X_2-U_2)^2+...+(X_n-U_n)^2}}$$
k-NN एल्गोरिदम कई दूरी गणनाओं पर निर्भर करता है (भविष्यवाणी किए जाने वाले प्रत्येक डेटा और प्रशिक्षण सेट में प्रत्येक डेटा के बीच), और इसलिए यूक्लिडियन दूरी, जो कम्प्यूटेशनली सस्ती है, k-NN में सबसे लोकप्रिय है।
यह उन विभिन्न पैमानों को संतुलित कर सकता है जो कई भविष्यवक्ताओं के हो सकते हैं, ज्यादातर मामलों में, यूक्लिडियन दूरी की गणना से पहले भविष्यवक्ताओं को मानकीकृत किया जाना चाहिए। नए डेटा को मानकीकृत करने के लिए उपयोग किए जाने वाले माध्य और मानक विचलन प्रशिक्षण डेटा के हैं, और नया डेटा उनकी गणना में शामिल नहीं है। सत्यापन डेटा, नए डेटा की तरह, भी इस गणना में शामिल नहीं हैं।
भविष्यवाणी किए जाने वाले डेटा और वर्तमान रिकॉर्ड के बीच दूरी की गणना करने के बाद, इसके पड़ोसियों की कक्षाओं के आधार पर वर्गीकृत किए जाने वाले रिकॉर्ड को एक कक्षा असाइन करने के लिए एक नियम की आवश्यकता होती है।
सबसे सरल मामला k = 1 है, जहां हम निकटतम डेटा (निकटतम पड़ोसी) की तलाश करते हैं और नए डेटा को अपने निकटतम पड़ोसी के समान कक्षा से संबंधित के रूप में वर्गीकृत करते हैं।
यह एक असाधारण तथ्य है कि एकल निकटतम पड़ोसी का उपयोग करके रिकॉर्ड को वर्गीकृत करने की यह सरल, सहज अवधारणा तब मजबूत हो सकती है जब हमारे प्रशिक्षण सेट में कई रिकॉर्ड हों। यह पता चलता है कि 1-निकटतम पड़ोसी डिजाइन की गलत वर्गीकरण त्रुटि की गलत वर्गीकरण दर होती है जो उस त्रुटि से दोगुनी से अधिक नहीं होती जब यह प्रत्येक कक्षा के लिए सटीक रूप से संभावना घनत्व फ़ंक्शन को समझ सकता है।
