एक RaggedTensor को वाक्य में वर्ड्स के स्टार्टिंग ऑफसेट्स का उपयोग करके बनाया जा सकता है। सबसे पहले, वाक्य में प्रत्येक वर्ड के प्रत्येक कैरेक्टर का कोड पॉइंट बनाया जाता है। फिर, उन्हें कंसोल पर प्रदर्शित किया जाता है। उस विशिष्ट वाक्य में वर्ड्स की संख्या निर्धारित की जाती है, और ऑफसेट निर्धारित किया जाता है।
और पढ़ें: TensorFlow क्या है और Keras, TensorFlow के साथ मिलकर न्यूरल नेटवर्क कैसे बनाता है?
Python का उपयोग करके यूनिकोड स्ट्रिंग्स को दर्शाएं, और यूनिकोड समकक्षों का उपयोग करके उनमें हेरफेर करें। सबसे पहले, हम स्टैंडर्ड स्ट्रिंग ऑप्स के यूनिकोड समकक्षों की मदद से स्क्रिप्ट डिटेक्शन के आधार पर यूनिकोड स्ट्रिंग्स को टोकन में अलग करेंगे।
हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर Python कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPUs (ग्राफ़िकल प्रोसेसिंग यूनिट्स) तक मुफ्त पहुंच की आवश्यकता होती है। Colaboratory को Jupyter Notebook के ऊपर बनाया गया है।
print("प्रत्येक वर्ड में प्रत्येक कैरेक्टर का कोड पॉइंट प्राप्त करें")
word_char_codepoint = tf.RaggedTensor.from_row_starts(
values=sentence_char_codepoint.values,
row_starts=word_starts)
print(word_char_codepoint)
print("विशिष्ट वाक्य में वर्ड्स की संख्या प्राप्त करें")
sentence_num_words = tf.reduce_sum(tf.cast(sentence_char_starts_word, tf.int64), axis=1)कोड क्रेडिट: https://www.tensorflow.org/tutorials/load_data/unicode
आउटपुट
प्रत्येक वर्ड में प्रत्येक कैरेक्टर का कोड पॉइंट प्राप्त करें
<tf.RaggedTensor [[72, 101, 108, 108, 111], [44, 32], [116, 104, 101, 114, 101], [46], [19990, 30028], [12371, 12435, 12395, 12385, 12399]]>
विशिष्ट वाक्य में वर्ड्स की संख्या प्राप्त करेंव्याख्या
- प्रत्येक वर्ड में प्रत्येक कैरेक्टर के लिए कोड पॉइंट बनाया जाता है।
- इन्हें कंसोल पर प्रदर्शित किया जाता है।
- उस विशिष्ट वाक्य में वर्ड्स की संख्या निर्धारित की जाती है।
