डेटा प्री-प्रोसेसिंग का अर्थ है डेटा की सफाई, अवैध डेटा को हटाना, शोर को दूर करना, प्रासंगिक मूल्यों के साथ डेटा को बदलना आदि।
इसका मतलब हमेशा टेक्स्ट डेटा नहीं होता; यह इमेज या वीडियो प्रोसेसिंग भी हो सकती है। यह मशीन लर्निंग पाइपलाइन में एक महत्वपूर्ण कदम है।
डेटा प्री-प्रोसेसिंग मूल रूप से सभी डेटा (जो विभिन्न संसाधनों या एकल संसाधन से एकत्र किया गया है) को एक सामान्य प्रारूप में या समान डेटासेट में इकट्ठा करने का कार्य है (डेटा के प्रकार के आधार पर)।
यह इसलिए किया जाता है कि लर्निंग एल्गोरिदम इस डेटासेट से सीख सके और उच्च सटीकता के साथ प्रासंगिक परिणाम दे सके। चूंकि वास्तविक दुनिया का डेटा कभी भी आदर्श नहीं होता, इसलिए संभावना है कि डेटा में लापता सेल, त्रुटियां, आउटलायर, कॉलम में विसंगतियां, और बहुत कुछ हो।
कभी-कभी, इमेज सही ढंग से संरेखित नहीं हो सकती हैं, या स्पष्ट नहीं हो सकती हैं या बहुत बड़े आकार की हो सकती हैं। प्री-प्रोसेसिंग का लक्ष्य इन विसंगतियों और त्रुटियों को दूर करना है। डेटा प्री-प्रोसेसिंग एकल कार्य नहीं है, बल्कि चरण-दर-चरण किए जाने वाले कार्यों का एक समूह है।
एक चरण का आउटपुट अगले चरण का इनपुट बन जाता है और इसी तरह आगे बढ़ता है।
आइए संख्यात्मक मानों को बूलियन मानों में बदलने का उदाहरण लेते हैं -
उदाहरण
import numpy as np
from sklearn import preprocessing
input_data = np.array([
[34.78, 31.9, -65.5],
[-16.5, 2.45, -83.5],
[0.5, -87.98, 45.62],
[5.9, 2.38, -55.82]
])
data_binarized = preprocessing.Binarizer(threshold=0.5).transform(input_data)
print("संख्यात्मक मानों को बूलियन में बदला गया:\n", data_binarized)आउटपुट
संख्यात्मक मानों को बूलियन में बदला गया: [[1. 1. 0.] [0. 1. 0.] [0. 0. 1.] [1. 1. 0.]]
व्याख्या
- आवश्यक पैकेज आयात किए गए हैं।
- Numpy लाइब्रेरी का उपयोग करके इनपुट डेटा उत्पन्न किया गया है।
- sklearn के 'प्रीप्रोसेसिंग' क्लास में मौजूद 'Binarizer' फ़ंक्शन का उपयोग संख्यात्मक मानों को बूलियन मानों में बदलने के लिए किया जाता है।
- बूलियन मान मूल रूप से केवल 1 और 0 को संदर्भित करते हैं।
- यह परिवर्तित डेटा कंसोल पर प्रिंट किया जाता है।
