Computer >> कंप्यूटर ट्यूटोरियल >  >> प्रोग्रामिंग >> Python

पायथन का उपयोग करके स्टैकओवरफ्लो प्रश्न डेटासेट से जुड़े टेक्स्ट डेटा को वेक्टराइज़ करने के लिए टेंसरफ्लो का उपयोग कैसे करें

टेंसरफ्लो गूगल द्वारा प्रदान किया गया एक मशीन लर्निंग फ्रेमवर्क है। यह एक ओपन-सोर्स फ्रेमवर्क है जिसे पायथन के साथ संयोजन में एल्गोरिदम, डीप लर्निंग एप्लिकेशन और बहुत कुछ लागू करने के लिए उपयोग किया जाता है। यह शोध और उत्पादन उद्देश्यों के लिए उपयोग किया जाता है। इसमें ऑप्टिमाइज़ेशन तकनीकें हैं जो जटिल गणितीय संचालन को तेज़ी से करने में मदद करती हैं।

ऐसा इसलिए है क्योंकि यह NumPy और बहु-आयामी सरणियों का उपयोग करता है। इन बहु-आयामी सरणियों को 'टेंसर्स' के रूप में भी जाना जाता है। फ्रेमवर्क डीप न्यूरल नेटवर्क के साथ काम करने का समर्थन करता है। यह अत्यधिक स्केलेबल है और कई लोकप्रिय डेटासेट के साथ आता है। यह GPU गणना का उपयोग करता है और संसाधनों के प्रबंधन को स्वचालित करता है। यह कई मशीन लर्निंग लाइब्रेरी के साथ आता है और अच्छी तरह से समर्थित और प्रलेखित है। फ्रेमवर्क में डीप न्यूरल नेटवर्क मॉडल चलाने, उन्हें प्रशिक्षित करने और संबंधित डेटासेट की प्रासंगिक विशेषताओं की भविष्यवाणी करने वाले एप्लिकेशन बनाने की क्षमता है।

'tensorflow' पैकेज को विंडोज पर नीचे दिए गए कोड की लाइन का उपयोग करके इंस्टॉल किया जा सकता है:

pip install tensorflow

टेंसर टेंसरफ्लो में उपयोग की जाने वाली एक डेटा संरचना है। यह फ्लो डायग्राम में एज को जोड़ने में मदद करता है। इस फ्लो डायग्राम को 'डेटा फ्लो ग्राफ' के रूप में जाना जाता है। टेंसर्स एक बहु-आयामी सरणी या सूची के अलावा और कुछ नहीं हैं।

हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर पायथन कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPU (ग्राफिकल प्रोसेसिंग यूनिट्स) तक मुफ्त पहुंच की आवश्यकता होती है। Colaboratory को Jupyter Notebook के शीर्ष पर बनाया गया है।

उदाहरण

टेक्स्ट डेटा को वेक्टराइज़ करने के लिए कोड स्निपेट निम्नलिखित है:

print("वेक्टराइज़ फ़ंक्शन परिभाषित किया गया है")
def int_vectorize_text(text, label):
    text = tf.expand_dims(text, -1)
    return int_vectorize_layer(text), label

print(" डेटासेट का एक बैच प्राप्त किया गया है")
text_batch, label_batch = next(iter(raw_train_ds))
first_question, first_label = text_batch[0], label_batch[0]
print("प्रश्न है:", first_question)
print("लेबल है:", first_label)
print("'binary' वेक्टराइज़्ड प्रश्न है:", binary_vectorize_text(first_question, first_label)[0])
print("'int' वेक्टराइज़्ड प्रश्न है:", int_vectorize_text(first_question, first_label)[0])

कोड क्रेडिट - https://www.tensorflow.org/tutorials/load_data/text

आउटपुट

वेक्टराइज़ फ़ंक्शन परिभाषित किया गया है
डेटासेट का एक बैच प्राप्त किया गया है
प्रश्न है: tf.Tensor(b'...', shape=(), dtype=string)
लेबल है: tf.Tensor(2, shape=(), dtype=int32)
'binary' वेक्टराइज़्ड प्रश्न है: tf.Tensor([[1. 1. 1. ... 0. 0. 0.]], shape=(1, 10000), dtype=float32)
'int' वेक्टराइज़्ड प्रश्न है: tf.Tensor([[37 464 65 ... 0 0 0]], shape=(1, 250), dtype=int64)

व्याख्या

  • बाइनरी मोड एक सरणी वापस करता है जो टोकन के अस्तित्व के बारे में इंगित करता है।

  • इंट मोड में, प्रत्येक टोकन को एक पूर्णांक द्वारा प्रतिस्थापित किया जाता है।

  • इस तरह, क्रम संरक्षित रहता है।

  • वेक्टराइज़ फ़ंक्शन परिभाषित किया गया है।

  • डेटा का एक नमूना वेक्टराइज़्ड है और कंसोल पर 'बाइनरी' और 'इंट' मोड का वेक्टराइज़ेशन प्रदर्शित किया जाता है।

  • स्ट्रिंग को उस विशिष्ट लेयर पर 'get_vocabulary' मेथड का उपयोग करके देखा जा सकता है।

  1. - पायथन का उपयोग करके TensorFlow में डेटा को मानकीकृत कैसे किया जा सकता है?

    हम फूलों के डेटासेट का उपयोग करेंगे, जिसमें हजारों फूलों की छवियां हैं। इसमें 5 सब-डायरेक्टरी हैं, और प्रत्येक क्लास के लिए एक सब-डायरेक्टरी है। एक बार get_file विधि का उपयोग करके फूल डेटासेट डाउनलोड हो जाने पर, इसे पर्यावरण में लोड किया जाएगा ताकि इसके साथ काम किया जा सके। फूल डेटा को मॉडल में एक

  1. पायथन का उपयोग करके TensorFlow में डेटा को कैसे विज़ुअलाइज़ किया जा सकता है? पायथन का उपयोग करके TensorFlow में डेटा को कैसे विज़ुअलाइज़ किया जा सकता है?

    मान लीजिए हमारे पास फूल डेटासेट है। फूल डेटासेट को गूगल API का उपयोग करके डाउनलोड किया जा सकता है जो मूल रूप से फूल डेटासेट से लिंक करता है। get_file विधि का उपयोग API को पैरामीटर के रूप में पास करने के लिए किया जा सकता है। एक बार यह हो जाने पर, डेटा पर्यावरण में डाउनलोड हो जाता है। इसे matplotlib

  1. TensorFlow और Python से फ्लावर डेटासेट को कैसे विज़ुअलाइज़ करें? TensorFlow और Python से फ्लावर डेटासेट को कैसे विज़ुअलाइज़ करें?

    फ्लावर डेटासेट को matplotlib लाइब्रेरी की मदद से विज़ुअलाइज़ किया जा सकता है। imshow मेथड का उपयोग कंसोल पर इमेज प्रदर्शित करने के लिए किया जाता है। पूरे डेटासेट पर पुनरावृति की जाती है, और केवल पहली कुछ छवियों को प्रदर्शित किया जाता है। और पढ़ें: TensorFlow क्या है और Keras, TensorFlow के साथ मिलक