पायथन का उपयोग करके स्टैकओवरफ्लो प्रश्नों वाले डेटासेट को लोड करने के लिए टेंसरफ्लो का उपयोग कैसे करें

टेंसरफ्लो गूगल द्वारा प्रदान किया गया एक मशीन लर्निंग फ्रेमवर्क है। यह एक ओपन-सोर्स फ्रेमवर्क है जिसे पायथन के साथ संयोजन में एल्गोरिदम, डीप लर्निंग एप्लिकेशन, और बहुत कुछ लागू करने के लिए उपयोग किया जाता है। यह शोध और उत्पादन उद्देश्यों के लिए उपयोग किया जाता है। इसमें ऑप्टिमाइज़ेशन तकनीकें हैं जो जटिल गणितीय संचालन को तेज़ी से करने में मदद करती हैं।

ऐसा इसलिए है क्योंकि यह NumPy और बहु-आयामी सरणियों का उपयोग करता है। इन बहु-आयामी सरणियों को 'टेंसर्स' के रूप में भी जाना जाता है। फ्रेमवर्क डीप न्यूरल नेटवर्क के साथ काम करने का समर्थन करता है। यह अत्यधिक स्केलेबल है और कई लोकप्रिय डेटासेट के साथ आता है। यह GPU गणना का उपयोग करता है और संसाधनों के प्रबंधन को स्वचालित करता है। यह कई मशीन लर्निंग लाइब्रेरी के साथ आता है, और अच्छी तरह से समर्थित और प्रलेखित है। फ्रेमवर्क में डीप न्यूरल नेटवर्क मॉडल चलाने, उन्हें प्रशिक्षित करने और संबंधित डेटासेट की प्रासंगिक विशेषताओं की भविष्यवाणी करने वाले एप्लिकेशन बनाने की क्षमता है।

'tensorflow' पैकेज को विंडोज पर नीचे दिए गए कोड की लाइन का उपयोग करके इंस्टॉल किया जा सकता है:

pip install tensorflow

हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर पायथन कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPU (ग्राफिकल प्रोसेसिंग यूनिट्स) तक मुफ्त पहुंच की आवश्यकता होती है। Colaboratory को Jupyter Notebook के शीर्ष पर बनाया गया है। पायथन का उपयोग करके स्टैकओवरफ्लो प्रश्नों वाले डेटासेट को लोड करने के लिए कोड स्निपेट निम्नलिखित है:

उदाहरण

batch_size = 32
seed = 42
print("प्रशिक्षण पैरामीटर परिभाषित किए गए हैं")
raw_train_ds = preprocessing.text_dataset_from_directory(
    train_dir,
    batch_size=batch_size,
    validation_split=0.25,
    subset='training',
    seed=seed)

for text_batch, label_batch in raw_train_ds.take(1):
    for i in range(10):
        print("प्रश्न:", text_batch.numpy()[i][:100], '...')
        print("लेबल:", label_batch.numpy()[i])

कोड क्रेडिट - https://www.tensorflow.org/tutorials/load_data/text

आउटपुट

प्रशिक्षण पैरामीटर परिभाषित किए गए हैं
8000 फाइलें मिलीं जो 4 वर्गों से संबंधित हैं। 6000 फाइलों का उपयोग प्रशिक्षण के लिए किया जा रहा है।
प्रश्न: b'"my tester is going to the wrong constructor i am new to programming so if i ask a question that can' ... लेबल: 1
प्रश्न: b'"blank code slow skin detection this code changes the color space to lab and using a threshold finds' ... लेबल: 3
... (अन्य नमूना प्रश्न)

व्याख्या

• डेटा को डिस्क से लोड किया जाता है और प्रशिक्षण के लिए उपयुक्त रूप में तैयार किया जाता है।

• लेबल्ड डेटासेट बनाने के लिए 'text_dataset_from_directory' यूटिलिटी का उपयोग किया जाता है।

• 'tf.Data' शक्तिशाली टूल्स का एक संग्रह है जिसका उपयोग इनपुट पाइपलाइन बनाने के लिए किया जाता है।

• 'text_dataset_from_directory' यूटिलिटी को एक डायरेक्टरी संरचना पास की जाती है।

• स्टैकओवरफ्लो प्रश्न डेटासेट को प्रशिक्षण और टेस्ट डेटासेट में विभाजित किया जाता है।

• 'validation_split' मेथड का उपयोग करके एक सत्यापन सेट बनाया जाता है।

• लेबल 0, 1, 2, या 3 होते हैं।