रैग्ड टेंसर के वर्ड कोड पॉइंट को निम्न विधि से सेगमेंट किया जा सकता है: सेगमेंटेशन टेक्स्ट को वर्ड-जैसी इकाइयों में विभाजित करने की क्रिया को संदर्भित करता है। इसका उपयोग उन मामलों में किया जाता है जहां शब्दों को अलग करने के लिए स्पेस कैरेक्टर्स का उपयोग किया जाता है, लेकिन चीनी और जापानी जैसी कुछ भाषाएं स्पेस का उपयोग नहीं करती हैं। जर्मन जैसी कुछ भाषाओं में लंबे कंपाउंड शब्द होते हैं जिन्हें उनके अर्थ का विश्लेषण करने के लिए विभाजित करने की आवश्यकता होती है।
वर्ड के कोड पॉइंट को वापस वाक्य में सेगमेंट किया जाता है। अगला कदम यह जांचना है कि क्या किसी वर्ड में कैरेक्टर के लिए कोड पॉइंट वाक्य में मौजूद है या नहीं। यदि यह मौजूद है, तो एक रैग्ड टेंसर बनाया जाता है, और वाक्य को वापस स्टैंडर्ड एन्कोडिंग में एन्कोड किया जाता है।
और पढ़ें: TensorFlow क्या है और Keras, TensorFlow के साथ मिलकर न्यूरल नेटवर्क कैसे बनाता है?
आइए समझते हैं कि Python का उपयोग करके यूनिकोड स्ट्रिंग्स को कैसे दर्शाया जाए, और यूनिकोड समकक्षों का उपयोग करके उनमें हेरफेर किया जाए। सबसे पहले, हम स्टैंडर्ड स्ट्रिंग ऑप्स के यूनिकोड समकक्षों की मदद से स्क्रिप्ट डिटेक्शन के आधार पर यूनिकोड स्ट्रिंग्स को टोकन में अलग करते हैं।
हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर Python कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPUs (ग्राफ़िकल प्रोसेसिंग यूनिट्स) तक मुफ्त पहुंच की आवश्यकता होती है। Colaboratory को Jupyter Notebook के ऊपर बनाया गया है।
print("वर्ड कोड पॉइंट्स को वापस वाक्यों में सेगमेंट करें")
print("जांचें कि क्या वर्ड में कैरेक्टर के लिए कोड पॉइंट वाक्य में मौजूद है")
sentence_word_char_codepoint = tf.RaggedTensor.from_row_lengths(
values=word_char_codepoint,
row_lengths=sentence_num_words)
print(sentence_word_char_codepoint)
print("इसे वापस UTF-8 में एन्कोड करें")
tf.strings.unicode_encode(sentence_word_char_codepoint, 'UTF-8').to_list()कोड क्रेडिट: https://www.tensorflow.org/tutorials/load_data/unicode
आउटपुट
वर्ड कोड पॉइंट्स को वापस वाक्यों में सेगमेंट करें
जांचें कि क्या वर्ड में कैरेक्टर के लिए कोड पॉइंट वाक्य में मौजूद है
<tf.RaggedTensor [[[72, 101, 108, 108, 111], [44, 32], [116, 104, 101, 114, 101], [46]], [[19990, 30028], [12371, 12435, 12395, 12385, 12399]]]>
इसे वापस UTF-8 में एन्कोड करें
[[b'Hello', b', ', b'there', b'.'], [b'\xe4\xb8\x96\xe7\x95\x8c', b'\xe3\x81\x93\xe3\x82\x93\xe3\x81\xab\xe3\x81\xa1\xe3\x81\xaf']]व्याख्या
- कोड पॉइंट्स को वाक्यों में सेगमेंट किया जाता है।
- यह निर्धारित किया जाता है कि किसी कैरेक्टर के लिए कोड पॉइंट वाक्य में मौजूद है या नहीं।
- डीकोड किए गए डेटा को वापस UTF-8 एन्कोडिंग में एन्कोड किया जाता है।
