डेटा सफाई (Data cleaning) लापता मूल्यों (missing values) को भरकर, शोर डेटा (noisy data) को चिकना करके, बाहरी मानों (outliers) का विश्लेषण करके और हटाकर, और डेटा में असंगतियों (inconsistencies) को हटाकर डेटा को साफ करने को परिभाषित करती है। कभी-कभी विवरण के कई स्तरों पर डेटा आवश्यकता से अलग हो सकता है, उदाहरण के लिए, इसे 20-30, 30-40, 40-50 की आयु सीमा की आवश्यकता हो सकती है, और आयातित डेटा में जन्म तिथि शामिल है। डेटा को उपयुक्त प्रकारों में विभाजित करके साफ किया जा सकता है।
डेटा सफाई के प्रकार
विभिन्न प्रकार की डेटा सफाई हैं जो निम्नानुसार हैं:
लापता मान (Missing Values) – लापता मानों को उपयुक्त मूल्यों से भरा जाता है। मान भरने के लिए निम्नलिखित दृष्टिकोण हैं।
टपल को नजरअंदाज किया जाता है जब इसमें कई विशेषताओं के साथ लापता मान शामिल होते हैं।
लापता मान के लिए मान मैन्युअल रूप से भरे जाते हैं।
वही वैश्विक स्थिरांक (global constant) मान भर सकता है।
विशेषता माध्य (attribute mean) लापता मान भर सकता है।
सबसे संभावित मान (most probable value) लापता मान भर सकता है।
शोर डेटा (Noisy data) – शोर एक मापा चर में यादृच्छिक त्रुटि या विचरण है। शोर को संभालने के लिए निम्नलिखित चिकनाई विधियां (smoothing methods) हैं:
बिनिंग (Binning) – ये विधियां इसके "पड़ोस" (neighborhood) से परामर्श करके व्यवस्थित डेटा मान को चिकना करती हैं, विशेष रूप से शोर जानकारी के आसपास के मान। व्यवस्थित मानों को कई बाल्टी या बिन में वितरित किया जाता है। क्योंकि बिनिंग विधियां मानों के पड़ोस से परामर्श करती हैं, वे स्थानीय चिकनाई (local smoothing) लागू करती हैं।
रिग्रेशन (Regression) – डेटा को एक फ़ंक्शन में फिट करके चिकना किया जा सकता है, जिसमें रिग्रेशन शामिल है। रैखिक रिग्रेशन (Linear regression) में दो विशेषताओं (या चर) को फिट करने के लिए "सर्वोत्तम" लाइन ढूंढना शामिल है ताकि एक विशेषता का उपयोग दूसरे का पूर्वानुमान लगाने के लिए किया जा सके। बहु रैखिक रिग्रेशन (Multiple linear regression) रैखिक रिग्रेशन का एक विकास है, जहां दो से अधिक विशेषताएं शामिल हैं और डेटा को एक बहुआयामी क्षेत्र में फिट किया जाता है।
क्लस्टरिंग (Clustering) – क्लस्टरिंग बाहरी मानों (outliers) की पहचान करने में सहायता करता है। समान मानों को क्लस्टर में व्यवस्थित किया जाता है और वे मान जो क्लस्टर के बाहर आते हैं उन्हें बाहरी मान के रूप में जाना जाता है।
संयुक्त कंप्यूटर और मानव निरीक्षण (Combined computer and human inspection) – बाहरी मानों को कंप्यूटर और मानव निरीक्षण की सहायता से भी पहचाना जा सकता है। बाहरी मानों का पैटर्न वर्णनात्मक या कचरा हो सकता है। आश्चर्यजनक मूल्य वाले पैटर्न को एक सूची में आउटपुट किया जा सकता है।
असंगत डेटा (Inconsistent data) – असंगति विभिन्न लेनदेन में दर्ज की जा सकती है, डेटा प्रविष्टि के दौरान, या कई डेटाबेस से जानकारी एकीकृत करने से उत्पन्न हो सकती है। कुछ अतिरेक (redundancies) सहसंबंध विश्लेषण (correlation analysis) द्वारा पहचाने जा सकते हैं। विभिन्न स्रोतों से डेटा का सटीक और उचित एकीकरण अतिरेक को कम और टाल सकता है।
