Computer >> कंप्यूटर >  >> प्रोग्रामिंग >> Python

टेंसरफ़्लो और पायथन का उपयोग करके स्टैकओवरफ़्लो प्रश्न डेटासेट पर टेक्स्ट वेक्टराइज़ेशन कैसे लागू किया जा सकता है?

Tensorflow एक मशीन लर्निंग फ्रेमवर्क है जो Google द्वारा प्रदान किया जाता है। यह एक ओपन-सोर्स फ्रेमवर्क है जिसका उपयोग पायथन के संयोजन में एल्गोरिदम, गहन शिक्षण अनुप्रयोगों और बहुत कुछ को लागू करने के लिए किया जाता है। इसका उपयोग अनुसंधान और उत्पादन उद्देश्यों के लिए किया जाता है।

कोड की निम्न पंक्ति का उपयोग करके विंडोज़ पर 'टेंसरफ़्लो' पैकेज स्थापित किया जा सकता है -

pip install tensorflow

Tensor एक डेटा संरचना है जिसका उपयोग TensorFlow में किया जाता है। यह प्रवाह आरेख में किनारों को जोड़ने में मदद करता है। इस प्रवाह आरेख को 'डेटा प्रवाह ग्राफ' के रूप में जाना जाता है। टेंसर और कुछ नहीं बल्कि एक बहुआयामी सरणी या एक सूची है।

हम नीचे दिए गए कोड को चलाने के लिए Google सहयोग का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर पायथन कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPU (ग्राफ़िकल प्रोसेसिंग यूनिट) तक मुफ्त पहुंच की आवश्यकता होती है। जुपिटर नोटबुक के ऊपर कोलैबोरेटरी बनाई गई है।

उदाहरण

निम्नलिखित कोड स्निपेट है -

print("1234 ---> ", int_vectorize_layer.get_vocabulary()[1289])
print("321 ---> ", int_vectorize_layer.get_vocabulary()[313])
print("Vocabulary size is : {}".format(len(int_vectorize_layer.get_vocabulary())))

print("The text vectorization is applied to the training dataset")
binary_train_ds = raw_train_ds.map(binary_vectorize_text)
print("The text vectorization is applied to the validation dataset")
binary_val_ds = raw_val_ds.map(binary_vectorize_text)
print("The text vectorization is applied to the test dataset")
binary_test_ds = raw_test_ds.map(binary_vectorize_text)

int_train_ds = raw_train_ds.map(int_vectorize_text)
int_val_ds = raw_val_ds.map(int_vectorize_text)
int_test_ds = raw_test_ds.map(int_vectorize_text)

कोड क्रेडिट - https://www.tensorflow.org/tutorials/load_data/text

आउटपुट

1234 ---> substring
321 ---> 20
Vocabulary size is : 10000
The text vectorization is applied to the training dataset
The text vectorization is applied to the validation dataset
The text vectorization is applied to the test dataset

स्पष्टीकरण

  • अंतिम प्रीप्रोसेसिंग चरण के रूप में, प्रशिक्षण डेटा, परीक्षण डेटा और सत्यापन डेटासेट पर 'TextVectorization' परत लागू की जाती है।


  1. पायथन का उपयोग करके डेटा की कल्पना करने के लिए Tensorflow का उपयोग कैसे किया जा सकता है?

    मान लें कि हमारे पास फूल डेटासेट है। फूल डेटासेट को Google API का उपयोग करके डाउनलोड किया जा सकता है जो मूल रूप से फूल डेटासेट से लिंक होता है। एपीआई को पैरामीटर के रूप में पास करने के लिए get_file विधि का उपयोग किया जा सकता है। एक बार ऐसा करने के बाद, डेटा पर्यावरण में डाउनलोड हो जाता है। इसे मैटप

  1. पायथन का उपयोग करके फूल डेटासेट की कल्पना करने के लिए Tensorflow का उपयोग कैसे किया जा सकता है?

    फूल डेटासेट को मैटप्लोटलिब लाइब्रेरी की मदद से देखा जा सकता है। कंसोल पर छवि प्रदर्शित करने के लिए इमशो विधि का उपयोग किया जाता है। संपूर्ण डेटासेट को पुनरावृत्त किया जाता है, और केवल पहली कुछ छवियां प्रदर्शित होती हैं। और पढ़ें: TensorFlow क्या है और Keras कैसे तंत्रिका नेटवर्क बनाने के लिए Tensor

  1. TensorFlow का उपयोग टेंसर बनाने और पायथन का उपयोग करके एक संदेश प्रदर्शित करने के लिए कैसे किया जा सकता है?

    Tensorflow एक मशीन लर्निंग फ्रेमवर्क है जो Google द्वारा प्रदान किया जाता है। यह एक ओपन-सोर्स फ्रेमवर्क है जिसका उपयोग एल्गोरिदम, गहन शिक्षण अनुप्रयोगों और बहुत कुछ को लागू करने के लिए पायथन के साथ संयोजन में किया जाता है। इसका उपयोग अनुसंधान और उत्पादन उद्देश्यों के लिए किया जाता है। इसमें अनुकूलन