TensorFlow, Google द्वारा प्रदान किया गया एक मशीन लर्निंग फ्रेमवर्क है। यह एक ओपन-सोर्स फ्रेमवर्क है जिसका उपयोग Python के साथ एल्गोरिदम, डीप लर्निंग एप्लिकेशन और बहुत कुछ लागू करने के लिए किया जाता है। इसका उपयोग अनुसंधान और उत्पादन उद्देश्यों के लिए किया जाता है।
इंस्टॉलेशन
Windows पर 'tensorflow' पैकेज को निम्न कमांड से इंस्टॉल किया जा सकता है:
pip install tensorflow
टेंसर और उसके गुण
टेंसर TensorFlow में उपयोग की जाने वाली एक डेटा संरचना है। यह फ्लो डायग्राम में एज को जोड़ने में मदद करता है। इस फ्लो डायग्राम को 'डेटा फ्लो ग्राफ' के रूप में जाना जाता है। टेंसर एक बहुआयामी सरणी या सूची के अलावा कुछ नहीं हैं।
इन्हें तीन मुख्य विशेषताओं का उपयोग करके पहचाना जा सकता है:
रैंक (Rank) - यह टेंसर की आयामिकता के बारे में बताता है।
टाइप (Type) - यह टेंसर के तत्वों से जुड़े डेटा टाइप के बारे में बताता है।
शेप (Shape) - यह पंक्तियों और स्तंभों की संख्या को एक साथ दर्शाता है।
Iliad डेटासेट
हम Iliad डेटासेट का उपयोग करेंगे, जिसमें विलियम कूपर, एडवर्ड (डर्बी के अर्ल) और सैमुअल बटलर के तीन अनुवाद कार्यों का टेक्स्ट डेटा होता है। मॉडल को एक पंक्ति टेक्स्ट दिए जाने पर अनुवादक की पहचान करने के लिए प्रशिक्षित किया जाता है। उपयोग की गई टेक्स्ट फाइलें पूर्व-प्रसंस्कृत हैं।
Google Colaboratory
हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab ब्राउज़र पर Python कोड चलाने में मदद करता है और GPUs तक मुफ्त पहुंच प्रदान करता है।
कोड उदाहरण
keys = vocab
values = range(2, len(vocab) + 2) # reserve 0 for padding, 1 for OOV
print("Map the tokens to integers")
init = tf.lookup.KeyValueTensorInitializer(
keys, values, key_dtype=tf.string, value_dtype=tf.int64)
num_oov_buckets = 1
vocab_table = tf.lookup.StaticVocabularyTable(init, num_oov_buckets)
print("A function has been defined to standardize, tokenize and vectorize the dataset using tokenizer and lookup table")
def preprocess_text(text, label):
standardized = tf_text.case_fold_utf8(text)
tokenized = tokenizer.tokenize(standardized)
vectorized = vocab_table.lookup(tokenized)
return vectorized, label
कोड क्रेडिट: https://www.tensorflow.org/tutorials/load_data/text
आउटपुट
Map the tokens to integers A function has been defined to standardize, tokenize and vectorize the dataset using tokenizer and lookup table
व्याख्या
वोकैब सेट का उपयोग StaticVocabularyTable बनाने के लिए किया जाता है।
टोकन को [2, vocab_size + 2] रेंज में पूर्णांकों से मैप किया जाता है।
संख्या 0 का उपयोग पैडिंग दर्शाने के लिए और 1 का उपयोग आउट-ऑफ-वोकैबुलरी (OOV) टोकन दर्शाने के लिए किया जाता है।
