Computer >> कंप्यूटर ट्यूटोरियल >  >> प्रोग्रामिंग >> Python

पायथन में TensorFlow का उपयोग करके स्टैकओवरफ्लो प्रश्न डेटासेट पर टेक्स्ट वैक्टोराइज़ेशन कैसे लागू करें?


TensorFlow Google द्वारा प्रदान किया गया एक मशीन लर्निंग फ्रेमवर्क है। यह एक ओपन-सोर्स फ्रेमवर्क है जिसका उपयोग पायथन के साथ एल्गोरिदम, डीप लर्निंग एप्लिकेशन और बहुत कुछ लागू करने के लिए किया जाता है। यह शोध और उत्पादन उद्देश्यों के लिए उपयोग किया जाता है।

'tensorflow' पैकेज को Windows पर नीचे दिए गए कोड की लाइन का उपयोग करके इंस्टॉल किया जा सकता है:

pip install tensorflow

टेंसर TensorFlow में उपयोग की जाने वाली एक डेटा संरचना है। यह फ्लो डायग्राम में किनारों को जोड़ने में मदद करता है। इस फ्लो डायग्राम को 'डेटा फ्लो ग्राफ' के रूप में जाना जाता है। टेंसर बहुआयामी सरणी या सूची के अलावा कुछ नहीं हैं।

हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर पायथन कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPUs (ग्राफिकल प्रोसेसिंग यूनिट्स) तक मुफ्त पहुंच की आवश्यकता होती है। Colaboratory को Jupyter Notebook के शीर्ष पर बनाया गया है।

उदाहरण

निम्न कोड स्निपेट है:

print("1234 ---> ", int_vectorize_layer.get_vocabulary()[1289])
print("321 ---> ", int_vectorize_layer.get_vocabulary()[313])
print("Vocabulary size is : {}".format(len(int_vectorize_layer.get_vocabulary())))
print("The text vectorization is applied to the training dataset")
binary_train_ds = raw_train_ds.map(binary_vectorize_text)
print("The text vectorization is applied to the validation dataset")
binary_val_ds = raw_val_ds.map(binary_vectorize_text)
print("The text vectorization is applied to the test dataset")
binary_test_ds = raw_test_ds.map(binary_vectorize_text)
int_train_ds = raw_train_ds.map(int_vectorize_text)
int_val_ds = raw_val_ds.map(int_vectorize_text)
int_test_ds = raw_test_ds.map(int_vectorize_text)

कोड क्रेडिट - https://www.tensorflow.org/tutorials/load_data/text

आउटपुट

1234 ---> substring
321 ---> 20
Vocabulary size is : 10000
The text vectorization is applied to the training dataset
The text vectorization is applied to the validation dataset
The text vectorization is applied to the test dataset

व्याख्या

  • अंतिम प्रीप्रोसेसिंग चरण के रूप में, 'TextVectorization' लेयर को प्रशिक्षण डेटा, टेस्ट डेटा और वैलिडेशन डेटासेट पर लागू किया जाता है।


  1. पायथन का उपयोग करके TensorFlow में डेटा को कैसे विज़ुअलाइज़ किया जा सकता है? पायथन का उपयोग करके TensorFlow में डेटा को कैसे विज़ुअलाइज़ किया जा सकता है?

    मान लीजिए हमारे पास फूल डेटासेट है। फूल डेटासेट को गूगल API का उपयोग करके डाउनलोड किया जा सकता है जो मूल रूप से फूल डेटासेट से लिंक करता है। get_file विधि का उपयोग API को पैरामीटर के रूप में पास करने के लिए किया जा सकता है। एक बार यह हो जाने पर, डेटा पर्यावरण में डाउनलोड हो जाता है। इसे matplotlib

  1. TensorFlow और Python से फ्लावर डेटासेट को कैसे विज़ुअलाइज़ करें? TensorFlow और Python से फ्लावर डेटासेट को कैसे विज़ुअलाइज़ करें?

    फ्लावर डेटासेट को matplotlib लाइब्रेरी की मदद से विज़ुअलाइज़ किया जा सकता है। imshow मेथड का उपयोग कंसोल पर इमेज प्रदर्शित करने के लिए किया जाता है। पूरे डेटासेट पर पुनरावृति की जाती है, और केवल पहली कुछ छवियों को प्रदर्शित किया जाता है। और पढ़ें: TensorFlow क्या है और Keras, TensorFlow के साथ मिलक

  1. Python का उपयोग करके TensorFlow में टेंसर कैसे बनाएं और संदेश प्रदर्शित करें? Python का उपयोग करके TensorFlow में टेंसर कैसे बनाएं और संदेश प्रदर्शित करें?

    TensorFlow, Google द्वारा प्रदान किया गया एक मशीन लर्निंग फ्रेमवर्क है। यह एक ओपन-सोर्स फ्रेमवर्क है जिसे Python के साथ मिलकर एल्गोरिदम, डीप लर्निंग एप्लिकेशन और बहुत कुछ लागू करने के लिए उपयोग किया जाता है। इसका उपयोग अनुसंधान और उत्पादन उद्देश्यों के लिए किया जाता है। इसमें ऑप्टिमाइज़ेशन तकनीकें ह