TensorFlow, Google द्वारा प्रदान किया गया एक मशीन लर्निंग फ्रेमवर्क है। यह एक ओपन-सोर्स फ्रेमवर्क है जिसका उपयोग Python के साथ एल्गोरिदम, डीप लर्निंग एप्लिकेशन और बहुत कुछ लागू करने के लिए किया जाता है। इसका उपयोग अनुसंधान और उत्पादन उद्देश्यों के लिए किया जाता है।
इंस्टॉलेशन
Windows पर 'tensorflow' पैकेज को निम्न कमांड से इंस्टॉल किया जा सकता है:
pip install tensorflow
टेंसर
टेंसर TensorFlow में उपयोग की जाने वाली एक डेटा संरचना है। यह फ्लो डायग्राम में एज को जोड़ने में मदद करता है। इस फ्लो डायग्राम को 'डेटा फ्लो ग्राफ' के रूप में जाना जाता है। टेंसर एक बहुआयामी सरणी या सूची के अलावा कुछ नहीं हैं।
Iliad डेटासेट
हम Iliad डेटासेट का उपयोग करेंगे, जिसमें विलियम कूपर, एडवर्ड (डर्बी के अर्ल) और सैमुअल बटलर के तीन अनुवाद कार्यों का टेक्स्ट डेटा होता है। मॉडल को एक पंक्ति टेक्स्ट दिए जाने पर अनुवादक की पहचान करने के लिए प्रशिक्षित किया जाता है। उपयोग की गई टेक्स्ट फाइलें पूर्व-प्रसंस्कृत हैं। इसमें डॉक्यूमेंट हेडर और फूटर, लाइन नंबर और चैप्टर शीर्षक को हटाना शामिल है।
Google Colaboratory
हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर Python कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPUs (ग्राफिकल प्रोसेसिंग यूनिट्स) तक मुफ्त पहुंच की आवश्यकता होती है। Colaboratory को Jupyter Notebook के शीर्ष पर बनाया गया है।
कोड उदाहरण
print("Look at sample data after processing it")
example_text, example_label = next(iter(all_labeled_data))
print("The sentence is : ", example_text.numpy())
vectorized_text, example_label = preprocess_text(example_text, example_label)
print("The vectorized sentence is : ", vectorized_text.numpy())
print("Run the pre-process function on the data")
all_encoded_data = all_labeled_data.map(preprocess_text)
कोड क्रेडिट: https://www.tensorflow.org/tutorials/load_data/text
आउटपुट
Look at sample data after processing it The sentence is : b'But I have now both tasted food, and given' The vectorized sentence is : [ 20 21 58 49 107 3497 909 2 4 540] Run the pre-process function on the data
व्याख्या
एक बार डेटा वेक्टराइज़ हो जाने के बाद, सभी टोकन पूर्णांकों में परिवर्तित हो गए होंगे।
उन्हें पूर्णांकों में परिवर्तित किया जाता है ताकि मॉडल उस इनपुट की व्याख्या कर सके जो इसे दिया गया है।
