Computer >> कंप्यूटर ट्यूटोरियल >  >> प्रोग्रामिंग >> Python

Python में scikit-learn लाइब्रेरी का उपयोग करके डेटासेट को ट्रेनिंग और टेस्टिंग के लिए कैसे विभाजित करें?


Scikit-learn, जिसे आमतौर पर sklearn के नाम से जाना जाता है, Python में एक लाइब्रेरी है जिसका उपयोग मशीन लर्निंग एल्गोरिदम को लागू करने के लिए किया जाता है। यह शक्तिशाली और मजबूत है, क्योंकि यह सांख्यिकीय मॉडलिंग करने के लिए विभिन्न प्रकार के टूल प्रदान करता है।

इसमें वर्गीकरण, रिग्रेशन, क्लस्टरिंग, डायमेंशनलिटी रिडक्शन, और बहुत कुछ शामिल है, एक शक्तिशाली और स्थिर Python इंटरफेस की मदद से। यह Numpy, SciPy और Matplotlib लाइब्रेरी पर निर्मित है।

मशीन लर्निंग एल्गोरिदम को इनपुट डेटा पास करने से पहले, इसे ट्रेनिंग और टेस्ट डेटासेट में विभाजित करना होता है।

एक बार डेटा चुने गए मॉडल में फिट हो जाने पर, इनपुट डेटासेट इस मॉडल पर प्रशिक्षित होता है। जब प्रशिक्षण होता है, तो मॉडल डेटा से सीखता है।

यह नए डेटा पर सामान्यीकरण करना भी सीखता है। टेस्ट डेटासेट का उपयोग मॉडल के प्रशिक्षण के दौरान नहीं किया जाएगा।

एक बार सभी हाइपरपैरामीटर्स ट्यून हो जाने और इष्टतम वजन सेट हो जाने पर, टेस्ट डेटासेट मशीन लर्निंग एल्गोरिदम को प्रदान किया जाता है।

यह वह डेटासेट है जिसका उपयोग यह जांचने के लिए किया जाता है कि एल्गोरिदम नए डेटा पर कितनी अच्छी तरह सामान्यीकरण करता है। आइए देखते हैं कि scikit-learn लाइब्रेरी का उपयोग करके डेटा को कैसे विभाजित किया जा सकता है।

उदाहरण

from sklearn.datasets import load_iris
my_data = load_iris()
X = my_data.data
y = my_data.target
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=2
)
print("ट्रेनिंग डेटा के फीचर्स के आयाम")
print(X_train.shape)
print("टेस्ट डेटा के फीचर्स के आयाम")
print(X_test.shape)
print("ट्रेनिंग डेटा के टारगेट वैल्यू के आयाम")
print(y_train.shape)
print("टेस्ट डेटा के टारगेट वैल्यू के आयाम")
print(y_test.shape)

आउटपुट

ट्रेनिंग डेटा के फीचर्स के आयाम (120, 4)
टेस्ट डेटा के फीचर्स के आयाम (30, 4)
ट्रेनिंग डेटा के टारगेट वैल्यू के आयाम (120,)
टेस्ट डेटा के टारगेट वैल्यू के आयाम (30,)

व्याख्या

  • आवश्यक पैकेज आयात किए गए हैं।
  • इसके लिए आवश्यक डेटासेट भी वातावरण में लोड किया गया है।
  • डेटासेट से फीचर्स और टारगेट वैल्यू को अलग किया गया है।
  • ट्रेनिंग और टेस्ट डेटा को क्रमशः 80 प्रतिशत और 20 प्रतिशत के अनुपात में विभाजित किया गया है।
  • इसका मतलब है कि 20 प्रतिशत डेटा का उपयोग यह जांचने के लिए किया जाएगा कि मॉडल नए डेटा पर कितनी अच्छी तरह सामान्यीकरण करता है।
  • ये विभाजन, डेटा के आयामों के साथ, कंसोल पर प्रिंट किए जाते हैं।
  1. पायथन में scikit-learn लाइब्रेरी का उपयोग करके इमेज अपलोड और देखें पायथन में scikit-learn लाइब्रेरी का उपयोग करके इमेज अपलोड और देखें

    डेटा प्री-प्रोसेसिंग का अर्थ है डेटा की सफाई, अमान्य डेटा, शोर को हटाना, प्रासंगिक मानों के साथ डेटा को बदलना आदि। इसका मतलब हमेशा टेक्स्ट डेटा नहीं होता; यह इमेज या वीडियो प्रोसेसिंग भी हो सकता है।डेटा प्री-प्रोसेसिंग मूल रूप से सभी डेटा को (जो विभिन्न संसाधनों या एकल संसाधन से एकत्र किया गया है) ए

  1. पायथन Seaborn लाइब्रेरी में countplot का उपयोग करके डेटा कैसे विज़ुअलाइज़ करें पायथन Seaborn लाइब्रेरी में countplot का उपयोग करके डेटा कैसे विज़ुअलाइज़ करें

    Seaborn एक लाइब्रेरी है जो डेटा विज़ुअलाइज़ करने में मदद करती है। यह कस्टमाइज़्ड थीम और हाई-लेवल इंटरफेस के साथ आती है।पिछले प्लॉट में, हमने पूरे डेटासेट को ग्राफ पर प्लॉट किया। बार प्लॉट की मदद से, हम डेटा के वितरण की केंद्रीय प्रवृत्ति को समझ सकते हैं।बारप्लॉट फंक्शन एक श्रेणीबद्ध चर और एक सतत चर

  1. Python में scikit-learn लाइब्रेरी का उपयोग करके इमेज का रिज़ॉल्यूशन कैसे प्राप्त करें? Python में scikit-learn लाइब्रेरी का उपयोग करके इमेज का रिज़ॉल्यूशन कैसे प्राप्त करें?

    डेटा प्री-प्रोसेसिंग मूल रूप से सभी डेटा (जो विभिन्न संसाधनों या एकल संसाधन से एकत्र किया गया है) को एक सामान्य प्रारूप में या समान डेटासेट में इकट्ठा करने का कार्य है (डेटा के प्रकार के आधार पर)। चूंकि वास्तविक दुनिया का डेटा कभी भी आदर्श नहीं होता, इसलिए संभावना है कि डेटा में लापता सेल, त्रुटियां