Computer >> कंप्यूटर >  >> प्रोग्रामिंग >> Python

पायथन का उपयोग करके स्टैक ओवरफ्लो प्रश्न डेटासेट से जुड़े टेक्स्ट डेटा को वेक्टर करने के लिए टेंसरफ़्लो का उपयोग कैसे किया जा सकता है?

Tensorflow एक मशीन लर्निंग फ्रेमवर्क है जो Google द्वारा प्रदान किया जाता है। यह एक ओपन-सोर्स फ्रेमवर्क है जिसका उपयोग पायथन के साथ एल्गोरिदम, डीप लर्निंग एप्लिकेशन और बहुत कुछ को लागू करने के लिए किया जाता है। इसका उपयोग अनुसंधान और उत्पादन उद्देश्यों के लिए किया जाता है। इसमें अनुकूलन तकनीकें हैं जो जटिल गणितीय कार्यों को शीघ्रता से करने में मदद करती हैं।

ऐसा इसलिए है क्योंकि यह NumPy और बहु-आयामी सरणियों का उपयोग करता है। इन बहु-आयामी सरणियों को 'टेंसर' के रूप में भी जाना जाता है। ढांचा गहरे तंत्रिका नेटवर्क के साथ काम करने का समर्थन करता है। यह अत्यधिक स्केलेबल है और कई लोकप्रिय डेटासेट के साथ आता है। यह GPU संगणना का उपयोग करता है और संसाधनों के प्रबंधन को स्वचालित करता है। यह मशीन लर्निंग लाइब्रेरी की भीड़ के साथ आता है और अच्छी तरह से समर्थित और प्रलेखित है। ढांचे में गहरे तंत्रिका नेटवर्क मॉडल चलाने, उन्हें प्रशिक्षित करने और संबंधित डेटासेट की प्रासंगिक विशेषताओं की भविष्यवाणी करने वाले एप्लिकेशन बनाने की क्षमता है।

कोड की निम्न पंक्ति का उपयोग करके विंडोज़ पर 'टेंसरफ़्लो' पैकेज स्थापित किया जा सकता है -

pip install tensorflow

Tensor एक डेटा संरचना है जिसका उपयोग TensorFlow में किया जाता है। यह प्रवाह आरेख में किनारों को जोड़ने में मदद करता है। इस प्रवाह आरेख को 'डेटा प्रवाह ग्राफ' के रूप में जाना जाता है। टेंसर और कुछ नहीं बल्कि एक बहुआयामी सरणी या एक सूची है।

हम नीचे दिए गए कोड को चलाने के लिए Google सहयोग का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर पायथन कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPU (ग्राफ़िकल प्रोसेसिंग यूनिट) तक मुफ्त पहुंच की आवश्यकता होती है। जुपिटर नोटबुक के ऊपर कोलैबोरेटरी बनाई गई है।

उदाहरण

टेक्स्ट डेटा को वेक्टराइज़ करने के लिए कोड स्निपेट निम्नलिखित है -

print("The vectorize function is defined")
def int_vectorize_text(text, label):
   text = tf.expand_dims(text, -1)
   return int_vectorize_layer(text), label
print(" A batch of the dataset is retrieved")
text_batch, label_batch = next(iter(raw_train_ds))
first_question, first_label = text_batch[0], label_batch[0]
print("Question is : ", first_question)
print("Label is : ", first_label)

print("'binary' vectorized question is :",
   binary_vectorize_text(first_question, first_label)[0])
print("'int' vectorized question is :",

   int_vectorize_text(first_question, first_label)[0])

कोड क्रेडिट - https://www.tensorflow.org/tutorials/load_data/text

आउटपुट

The vectorize function is defined
A batch of the dataset is retrieved
Question is : tf.Tensor(b'"function expected error in blank for dynamically created check box
when it is clicked i want to grab the attribute value.it is working in ie 8,9,10 but not working in ie
11,chrome shows function expected error..<input type=checkbox checked=\'checked\'
id=\'symptomfailurecodeid\' tabindex=\'54\' style=\'cursor:pointer;\' onclick=chkclickevt(this);
failurecodeid=""1"" >...function chkclickevt(obj) { .
alert(obj.attributes(""failurecodeid""));.}"\n', shape=(), dtype=string)
Label is : tf.Tensor(2, shape=(), dtype=int32)
'binary' vectorized question is : tf.Tensor([[1. 1. 1. ... 0. 0. 0.]], shape=(1, 10000), dtype=float32)
'int' vectorized question is : tf.Tensor(
[[ 37 464 65 7  16 12 879 262 181 448 44 10 6  700
   3  46  4 2085 2 473 1   6  156  7  478 1 25 20
  156 7  478 1  499 37 464 1 1846 1666 1  1  1  1
   1  1   1  1    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0 0 0
   0  0   0  0    0 0    0 0    0    0 0  0]], shape=(1, 250), dtype=int64)

स्पष्टीकरण

  • बाइनरी मोड एक सरणी देता है जो टोकन के अस्तित्व के बारे में इंगित करता है।

  • इंट मोड में, प्रत्येक टोकन को एक पूर्णांक से बदल दिया जाता है।

  • इस तरह, ऑर्डर सुरक्षित रहेगा।

  • वेक्टराइज़ फ़ंक्शन परिभाषित किया गया है।

  • डेटा का एक नमूना सदिशीकृत होता है और सदिशीकरण का 'बाइनरी' और 'इंट' मोड कंसोल पर प्रदर्शित होता है

  • उस विशिष्ट परत पर 'get_vocabulary' पद्धति का उपयोग करने के लिए स्ट्रिंग को देखा जा सकता है।


  1. पायथन का उपयोग करके डेटा को मानकीकृत करने के लिए Tensorflow का उपयोग कैसे किया जा सकता है?

    हम फूलों के डेटासेट का उपयोग करेंगे, जिसमें कई हजारों फूलों के चित्र होंगे। इसमें 5 उप-निर्देशिकाएँ हैं, और प्रत्येक वर्ग के लिए एक उप-निर्देशिका है। एक बार get_file पद्धति का उपयोग करके फूल डेटासेट डाउनलोड हो जाने के बाद, इसके साथ काम करने के लिए इसे पर्यावरण में लोड किया जाएगा। मॉडल में सामान्यीक

  1. पायथन का उपयोग करके डेटा की कल्पना करने के लिए Tensorflow का उपयोग कैसे किया जा सकता है?

    मान लें कि हमारे पास फूल डेटासेट है। फूल डेटासेट को Google API का उपयोग करके डाउनलोड किया जा सकता है जो मूल रूप से फूल डेटासेट से लिंक होता है। एपीआई को पैरामीटर के रूप में पास करने के लिए get_file विधि का उपयोग किया जा सकता है। एक बार ऐसा करने के बाद, डेटा पर्यावरण में डाउनलोड हो जाता है। इसे मैटप

  1. पायथन का उपयोग करके फूल डेटासेट की कल्पना करने के लिए Tensorflow का उपयोग कैसे किया जा सकता है?

    फूल डेटासेट को मैटप्लोटलिब लाइब्रेरी की मदद से देखा जा सकता है। कंसोल पर छवि प्रदर्शित करने के लिए इमशो विधि का उपयोग किया जाता है। संपूर्ण डेटासेट को पुनरावृत्त किया जाता है, और केवल पहली कुछ छवियां प्रदर्शित होती हैं। और पढ़ें: TensorFlow क्या है और Keras कैसे तंत्रिका नेटवर्क बनाने के लिए Tensor