पायथन का उपयोग करके स्टैकओवरफ्लो प्रश्नों के साथ डेटासेट तैयार करने के लिए टेंसरफ्लो का उपयोग कैसे करें

टेंसरफ्लो गूगल द्वारा प्रदान किया गया एक मशीन लर्निंग फ्रेमवर्क है। यह एक ओपन-सोर्स फ्रेमवर्क है जिसे पायथन के साथ संयोजन में एल्गोरिदम, डीप लर्निंग एप्लिकेशन और बहुत कुछ लागू करने के लिए उपयोग किया जाता है। यह शोध और उत्पादन उद्देश्यों के लिए उपयोग किया जाता है।

'tensorflow' पैकेज को विंडोज पर नीचे दिए गए कोड की लाइन का उपयोग करके इंस्टॉल किया जा सकता है:

pip install tensorflow

टेंसर टेंसरफ्लो में उपयोग की जाने वाली एक डेटा संरचना है। यह फ्लो डायग्राम में एज को जोड़ने में मदद करता है। इस फ्लो डायग्राम को 'डेटा फ्लो ग्राफ' के रूप में जाना जाता है। टेंसर्स बहु-आयामी सरणी या सूची के अलावा और कुछ नहीं हैं। हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर पायथन कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPU (ग्राफिकल प्रोसेसिंग यूनिट्स) तक मुफ्त पहुंच की आवश्यकता होती है। Colaboratory को Jupyter Notebook के शीर्ष पर बनाया गया है। निम्नलिखित कोड स्निपेट है:

उदाहरण

VOCAB_SIZE = 10000
print("टेक्स्ट का प्रीप्रोसेसिंग शुरू होता है")
binary_vectorize_layer = TextVectorization(
    max_tokens=VOCAB_SIZE,
    output_mode='binary')

MAX_SEQUENCE_LENGTH = 250
int_vectorize_layer = TextVectorization(
    max_tokens=VOCAB_SIZE,
    output_mode='int',
    output_sequence_length=MAX_SEQUENCE_LENGTH)

कोड क्रेडिट - https://www.tensorflow.org/tutorials/load_data/text

आउटपुट

टेक्स्ट का प्रीप्रोसेसिंग शुरू होता है

व्याख्या

'TextVectorization' लेयर का उपयोग करके डेटा को मानकीकृत, टोकनाइज़ और वेक्टराइज़ किया जाता है।
मानकीकरण में टेक्स्ट को प्री-प्रोसेस करना और विराम चिह्न और HTML तत्वों को हटाना शामिल है।
टोकनाइज़ेशन में व्हाइटस्पेस को विभाजित करके वाक्यों को शब्दों में विभाजित करना शामिल है।
वेक्टराइज़ेशन में टोकन को संख्याओं में परिवर्तित करना शामिल है ताकि न्यूरल नेटवर्क द्वारा समझे जाने पर इसे फीड किया जा सके।
बाइनरी मॉडल मॉडल बनाने के लिए बैग-ऑफ-वर्ड्स मॉडल का उपयोग करता है।