Python में TensorFlow का उपयोग करके IMDB डेटासेट को प्रशिक्षण के लिए कैसे तैयार करें?

TensorFlow, Google द्वारा प्रदान किया गया एक मशीन लर्निंग फ्रेमवर्क है। यह एक ओपन-सोर्स फ्रेमवर्क है जिसे Python के साथ मिलकर एल्गोरिदम, डीप लर्निंग एप्लिकेशन और बहुत कुछ लागू करने के लिए उपयोग किया जाता है। इसका उपयोग अनुसंधान और उत्पादन उद्देश्यों के लिए किया जाता है। इसमें ऑप्टिमाइज़ेशन तकनीकें हैं जो जटिल गणितीय संक्रियाओं को तेज़ी से करने में मदद करती हैं।

इंस्टॉलेशन

Windows पर 'tensorflow' पैकेज इंस्टॉल करने के लिए:

pip install tensorflow

टेंसर क्या है?

टेंसर, TensorFlow में उपयोग की जाने वाली एक डेटा संरचना है। यह फ्लो डायग्राम में एज को जोड़ने में मदद करता है। इस फ्लो डायग्राम को 'डेटा फ्लो ग्राफ' के नाम से जाना जाता है। टेंसर बहुआयामी सरणी या सूची के अलावा कुछ नहीं हैं।

IMDB डेटासेट

'IMDB' डेटासेट में 50 हजार से अधिक फिल्मों की समीक्षाएं होती हैं। इस डेटासेट का उपयोग आमतौर पर प्राकृतिक भाषा प्रसंस्करण से जुड़े संचालन के साथ किया जाता है।

Google Colaboratory का उपयोग

हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर Python कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन की आवश्यकता होती है और GPUs (ग्राफिकल प्रोसेसिंग यूनिट्स) तक मुफ्त पहुंच प्रदान करता है। Colaboratory को Jupyter Notebook के शीर्ष पर बनाया गया है।

IMDB डेटासेट के लिए कोड स्निपेट:

उदाहरण

def vectorize_text(text, label):
    text = tf.expand_dims(text, -1)
    return vectorize_layer(text), label

text_batch, label_batch = next(iter(raw_train_ds))
first_review, first_label = text_batch[0], label_batch[0]
print("समीक्षा है:", first_review)
print("लेबल है:", raw_train_ds.class_names[first_label])
print("वेक्टराइज़ की गई समीक्षा है:", vectorize_text(first_review, first_label))
print("1222 ---> ", vectorize_layer.get_vocabulary()[1222])
print("451 ---> ", vectorize_layer.get_vocabulary()[451])
print('शब्दावली आकार: {}'.format(len(vectorize_layer.get_vocabulary())))
train_ds = raw_train_ds.map(vectorize_text)
val_ds = raw_val_ds.map(vectorize_text)
test_ds = raw_test_ds.map(vectorize_text)

कोड क्रेडिट - TensorFlow ट्यूटोरियल

आउटपुट

समीक्षा है tf.Tensor(b'Silent Night, Deadly Night 5 is the very last of the series...', shape=(), dtype=string)
लेबल है neg
वेक्टराइज़ की गई समीक्षा है (, )
1222 ---> stick
451 ---> already
शब्दावली आकार: 10000

व्याख्या

• 'vectorize_text' नामक एक फ़ंक्शन परिभाषित किया गया है, जो मूल रूप से दिए गए टेक्स्ट को संख्याओं में परिवर्तित करता है ताकि इसे कंप्यूटर द्वारा समझा जा सके।
• IMDB डेटासेट का उपयोग मॉडल को प्रशिक्षित करने के लिए किया जाता है।
• कंसोल पर समीक्षा, लेबल, और वेक्टराइज़्ड डेटा का एक नमूना प्रदर्शित किया जाता है।
• प्रशिक्षण डेटा, टेस्ट डेटा और सत्यापन डेटा सभी वेक्टराइज़्ड हैं।