TensorFlow, Google द्वारा प्रदान किया गया एक मशीन लर्निंग फ्रेमवर्क है। यह एक ओपन-सोर्स फ्रेमवर्क है जिसका उपयोग Python के साथ एल्गोरिदम, डीप लर्निंग एप्लिकेशन, और बहुत कुछ लागू करने के लिए किया जाता है। इसका उपयोग अनुसंधान और उत्पादन उद्देश्यों के लिए किया जाता है।
टेंसर और उसके गुण
टेंसर TensorFlow में उपयोग की जाने वाली एक डेटा संरचना है। यह फ्लो डायग्राम में एज को जोड़ने में मदद करता है। इस फ्लो डायग्राम को 'डेटा फ्लो ग्राफ' के रूप में जाना जाता है। टेंसर एक बहुआयामी सरणी या सूची के अलावा कुछ नहीं हैं।
इन्हें तीन मुख्य विशेषताओं का उपयोग करके पहचाना जा सकता है:
रैंक (Rank) - यह टेंसर की आयामिकता के बारे में बताता है।
टाइप (Type) - यह टेंसर के तत्वों से जुड़े डेटा टाइप के बारे में बताता है।
शेप (Shape) - यह पंक्तियों और स्तंभों की संख्या को एक साथ दर्शाता है।
Iliad डेटासेट
हम Iliad डेटासेट का उपयोग करेंगे, जिसमें विलियम कूपर, एडवर्ड (डर्बी के अर्ल) और सैमुअल बटलर के तीन अनुवाद कार्यों का टेक्स्ट डेटा होता है। मॉडल को एक पंक्ति टेक्स्ट दिए जाने पर अनुवादक की पहचान करने के लिए प्रशिक्षित किया जाता है। उपयोग की गई टेक्स्ट फाइलें पूर्व-प्रसंस्कृत हैं।
Google Colaboratory
हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab ब्राउज़र पर Python कोड चलाने में मदद करता है और GPUs तक मुफ्त पहुंच प्रदान करता है।
कोड उदाहरण
def labeler(example, index):
return example, tf.cast(index, tf.int64)
print("An empty list has been created")
labeled_data_sets = []
print("Iterate through the file names and create a dataset from text file using 'TextLineDataset' method")
for i, file_name in enumerate(FILE_NAMES):
lines_dataset = tf.data.TextLineDataset(str(parent_dir/file_name))
labeled_dataset = lines_dataset.map(lambda ex: labeler(ex, i))
labeled_data_sets.append(labeled_dataset)
कोड क्रेडिट: https://www.tensorflow.org/tutorials/load_data/text
आउटपुट
An empty list has been created Iterate through the file names and create a dataset from text file using 'TextLineDataset' method
व्याख्या
'TextLineDataset' का उपयोग किया जाता है, जो एक टेक्स्ट फाइल से tf.data.Dataset बनाता है।
प्रत्येक उदाहरण मूल फाइल से टेक्स्ट की एक पंक्ति है।
'text_dataset_from_directory' एक फाइल की सामग्री को एक उदाहरण के रूप में मानता है।
TextLineDataset लाइन-आधारित टेक्स्ट डेटा के साथ काम करते समय उपयोगी होता है।
इन फाइलों के माध्यम से पुनरावृति करें और प्रत्येक पंक्ति को अपने स्वयं के डेटासेट में लोड करें।
प्रत्येक उदाहरण को व्यक्तिगत रूप से लेबल किया जाना चाहिए, इसलिए 'tf.data.Dataset.map' का उपयोग लेबलर फ़ंक्शन को प्रत्येक पंक्ति पर लागू करने के लिए किया जाता है।
यह डेटासेट में प्रत्येक उदाहरण पर पुनरावृति करेगा, और आउटपुट के रूप में (उदाहरण, लेबल) जोड़े लौटाएगा।
