TensorFlow, Google द्वारा प्रदान किया गया एक मशीन लर्निंग फ्रेमवर्क है। यह एक ओपन-सोर्स फ्रेमवर्क है जिसका उपयोग Python के साथ एल्गोरिदम, डीप लर्निंग एप्लिकेशन और बहुत कुछ लागू करने के लिए किया जाता है। इसका उपयोग अनुसंधान और उत्पादन उद्देश्यों के लिए किया जाता है।
इंस्टॉलेशन
Windows पर 'tensorflow' पैकेज को निम्न कमांड से इंस्टॉल किया जा सकता है:
pip install tensorflow
टेंसर और उसके गुण
टेंसर TensorFlow में उपयोग की जाने वाली एक डेटा संरचना है। यह फ्लो डायग्राम में एज को जोड़ने में मदद करता है। इस फ्लो डायग्राम को 'डेटा फ्लो ग्राफ' के रूप में जाना जाता है। टेंसर एक बहुआयामी सरणी या सूची के अलावा कुछ नहीं हैं।
इन्हें तीन मुख्य विशेषताओं का उपयोग करके पहचाना जा सकता है:
रैंक (Rank) - यह टेंसर की आयामिकता के बारे में बताता है। इसे टेंसर के क्रम या परिभाषित टेंसर में आयामों की संख्या के रूप में समझा जा सकता है।
टाइप (Type) - यह टेंसर के तत्वों से जुड़े डेटा टाइप के बारे में बताता है। यह एक आयामी, द्वि-आयामी या n-आयामी टेंसर हो सकता है।
शेप (Shape) - यह पंक्तियों और स्तंभों की संख्या को एक साथ दर्शाता है।
Iliad डेटासेट
हम Iliad डेटासेट का उपयोग करेंगे, जिसमें विलियम कूपर, एडवर्ड (डर्बी के अर्ल) और सैमुअल बटलर के तीन अनुवाद कार्यों का टेक्स्ट डेटा होता है। मॉडल को एक पंक्ति टेक्स्ट दिए जाने पर अनुवादक की पहचान करने के लिए प्रशिक्षित किया जाता है। उपयोग की गई टेक्स्ट फाइलें पूर्व-प्रसंस्कृत हैं। इसमें डॉक्यूमेंट हेडर और फूटर, लाइन नंबर और चैप्टर शीर्षक को हटाना शामिल है।
Google Colaboratory
हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर Python कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPUs (ग्राफिकल प्रोसेसिंग यूनिट्स) तक मुफ्त पहुंच की आवश्यकता होती है। Colaboratory को Jupyter Notebook के शीर्ष पर बनाया गया है।
कोड उदाहरण
train_data = all_encoded_data.skip(VALIDATION_SIZE).shuffle(BUFFER_SIZE)
validation_data = all_encoded_data.take(VALIDATION_SIZE)
train_data = train_data.padded_batch(BATCH_SIZE)
validation_data = validation_data.padded_batch(BATCH_SIZE)
sample_text, sample_labels = next(iter(validation_data))
print("The text batch shape is : ", sample_text.shape)
print("The label batch shape is : ", sample_labels.shape)
print("A text example is : ", sample_text[5])
print("A label example is: ", sample_labels[5])
कोड क्रेडिट: https://www.tensorflow.org/tutorials/load_data/text
आउटपुट
The text batch shape is : (64, 18) The label batch shape is : (64,) A text example is : tf.Tensor( [ 20 391 2 11 144 787 2 3498 16 49 2 0 0 0 0 0 0 0], shape=(18,), dtype=int64) A label example is: tf.Tensor(1, shape=(), dtype=int64)
व्याख्या
Keras TextVectorization लेयर का उपयोग वेक्टराइज़्ड डेटा को ग्रुप/बैच करने और पैडिंग प्रदान करने के लिए किया जाता है।
पैडिंग की आवश्यकता होती है क्योंकि एक बैच के अंदर उदाहरणों का आकार और शेप समान होना चाहिए, लेकिन डेटासेट में उदाहरण समान आकार के नहीं हो सकते हैं।
टेक्स्ट की प्रत्येक पंक्ति में अलग-अलग संख्या में शब्द हो सकते हैं।
'tf.data.Dataset' विधि डेटासेट को विभाजित करने और पैड-बैच करने में मदद करती है।
'validation_data' और 'train_data' बैच डेटा का संग्रह हैं।
प्रत्येक बैच (कई उदाहरण, कई लेबल) का एक जोड़ा है जिसे सरणियों के रूप में दर्शाया गया है।
