वाक्य में प्रत्येक वर्ड का कोड पॉइंट प्राप्त करने के लिए, पहले यह जांचा जाता है कि वाक्य वर्ड की शुरुआत है या नहीं। फिर, यह जांचा जाता है कि कैरेक्टर का इंडेक्स सभी वाक्यों के कैरेक्टर्स की फ्लैट लिस्ट में वर्ड के विशिष्ट इंडेक्स से शुरू होता है या नहीं। एक बार यह वेरिफाई हो जाने के बाद, नीचे दी गई विधि का उपयोग करके प्रत्येक वर्ड में प्रत्येक कैरेक्टर का कोड पॉइंट प्राप्त किया जाता है।
स्क्रिप्ट आइडेंटिफायर्स वर्ड बाउंड्रीज और उस स्थान को निर्धारित करने में मदद करते हैं जहां उन्हें जोड़ा जाना चाहिए। वर्ड बाउंड्री को वाक्य की शुरुआत में और प्रत्येक कैरेक्टर के लिए जोड़ा जाता है जिसकी स्क्रिप्ट उसके पिछले कैरेक्टर से अलग होती है। स्टार्ट ऑफसेट्स का उपयोग रैग्ड टेंसर बनाने के लिए किया जा सकता है। यह रैग्ड टेंसर सभी बैचों से वर्ड्स की सूची समाहित करेगा।
और पढ़ें: TensorFlow क्या है और Keras, TensorFlow के साथ मिलकर न्यूरल नेटवर्क कैसे बनाता है?
आइए समझते हैं कि Python का उपयोग करके यूनिकोड स्ट्रिंग्स को कैसे दर्शाया जाए, और यूनिकोड समकक्षों का उपयोग करके उनमें हेरफेर किया जाए। सबसे पहले, हम स्टैंडर्ड स्ट्रिंग ऑप्स के यूनिकोड समकक्षों की मदद से स्क्रिप्ट डिटेक्शन के आधार पर यूनिकोड स्ट्रिंग्स को टोकन में अलग करते हैं।
हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर Python कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPUs (ग्राफ़िकल प्रोसेसिंग यूनिट्स) तक मुफ्त पहुंच की आवश्यकता होती है। Colaboratory को Jupyter Notebook के ऊपर बनाया गया है।
print("जांचें कि क्या वाक्य वर्ड की शुरुआत है")
sentence_char_starts_word = tf.concat(
[tf.fill([sentence_char_script.nrows(), 1], True),
tf.not_equal(sentence_char_script[:, 1:], sentence_char_script[:, :-1])],
axis=1)
print("जांचें कि क्या कैरेक्टर का इंडेक्स सभी वाक्यों के कैरेक्टर्स की फ्लैट लिस्ट में वर्ड के विशिष्ट इंडेक्स से शुरू होता है")
word_starts = tf.squeeze(tf.where(sentence_char_starts_word.values), axis=1)
print(word_starts)
print("प्रत्येक वर्ड में प्रत्येक कैरेक्टर का कोड पॉइंट प्राप्त करें")
word_char_codepoint = tf.RaggedTensor.from_row_starts(
values=sentence_char_codepoint.values,
row_starts=word_starts)
print(word_char_codepoint)कोड क्रेडिट: https://www.tensorflow.org/tutorials/load_data/unicode
आउटपुट
जांचें कि क्या वाक्य वर्ड की शुरुआत है
जांचें कि क्या कैरेक्टर का इंडेक्स सभी वाक्यों के कैरेक्टर्स की फ्लैट लिस्ट में वर्ड के विशिष्ट इंडेक्स से शुरू होता है
tf.Tensor([ 0 5 7 12 13 15], shape=(6,), dtype=int64)
प्रत्येक वर्ड में प्रत्येक कैरेक्टर का कोड पॉइंट प्राप्त करें
<tf.RaggedTensor [[72, 101, 108, 108, 111], [44, 32], [116, 104, 101, 114, 101], [46], [19990, 30028], [12371, 12435, 12395, 12385, 12399]]>व्याख्या
- स्क्रिप्ट आइडेंटिफायर्स यह निर्धारित करने में मदद करते हैं कि वर्ड बाउंड्रीज कहां जोड़ी जानी चाहिए।
- प्रत्येक वाक्य की शुरुआत में और प्रत्येक कैरेक्टर के लिए जिसकी स्क्रिप्ट उसके पिछले कैरेक्टर से अलग है, एक वर्ड बाउंड्री जोड़ी जाती है।
- अगला, इन स्टार्ट ऑफसेट्स का उपयोग रैग्ड टेंसर बनाने के लिए किया जा सकता है।
- यह रैग्ड टेंसर सभी बैचों से वर्ड्स की सूची समाहित करता है।
