प्रत्येक यूनिकोड कोड पॉइंट कोडपॉइंट्स के एकल संग्रह से संबंधित होता है जिसे स्क्रिप्ट के रूप में जाना जाता है। एक कैरेक्टर की स्क्रिप्ट उस भाषा को निर्धारित करने में मदद करती है जिससे कैरेक्टर संबंधित हो सकता है। TensorFlow strings.unicode_script मेथड के साथ आता है जो यह पता लगाने में मदद करता है कि दिए गए कोडपॉइंट द्वारा किस स्क्रिप्ट का उपयोग किया जाएगा। स्क्रिप्ट कोड int32 मान हैं जिन्हें इंटरनेशनल कंपोनेंट्स फॉर यूनिकोड (ICU) UScriptCode वैल्यूज में मैप किया जा सकता है।
और पढ़ें: TensorFlow क्या है और Keras, TensorFlow के साथ मिलकर न्यूरल नेटवर्क कैसे बनाता है?
हम देखेंगे कि Python का उपयोग करके यूनिकोड स्ट्रिंग्स को कैसे दर्शाया जाए, और यूनिकोड समकक्षों का उपयोग करके उनमें हेरफेर किया जाए। सबसे पहले, स्टैंडर्ड स्ट्रिंग ऑप्स के यूनिकोड समकक्षों की मदद से स्क्रिप्ट डिटेक्शन के आधार पर यूनिकोड स्ट्रिंग्स को टोकन में अलग करें।
हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर Python कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPUs (ग्राफ़िकल प्रोसेसिंग यूनिट्स) तक मुफ्त पहुंच की आवश्यकता होती है। Colaboratory को Jupyter Notebook के ऊपर बनाया गया है।
print("नीचे '芸' और 'Б' को दर्शाता है")
uscript = tf.strings.unicode_script([33464, 1041])
print(uscript.numpy()) # [17, 8] == [USCRIPT_HAN, USCRIPT_CYRILLIC]
print("बहुआयामी स्ट्रिंग्स पर लागू करना")
print(tf.strings.unicode_script(batch_chars_ragged))कोड क्रेडिट: https://www.tensorflow.org/tutorials/load_data/unicode
आउटपुट
नीचे '芸' और 'Б' को दर्शाता है
[17 8]
बहुआयामी स्ट्रिंग्स पर लागू करना
<tf.RaggedTensor [[25, 25, 25, 25, 25], [25, 25, 25, 25, 0, 25, 25, 0, 25, 25, 25, 0, 25, 25, 25, 25, 25, 25, 25, 0, 25, 25, 25, 25, 25, 25, 25], [25, 25, 25, 25, 25, 25, 25, 25, 25], [0]]>व्याख्या
- प्रत्येक यूनिकोड कोड पॉइंट कोडपॉइंट्स के एकल संग्रह से संबंधित होता है जिसे स्क्रिप्ट के रूप में जाना जाता है।
- एक कैरेक्टर की स्क्रिप्ट यह निर्धारित करने में मदद करती है कि कैरेक्टर किस भाषा से संबंधित हो सकता है।
- TensorFlow दिए गए कोडपॉइंट द्वारा उपयोग की जाने वाली स्क्रिप्ट का पता लगाने के लिए
tf.strings.unicode_scriptऑपरेशन प्रदान करता है। - स्क्रिप्ट कोड int32 मान हैं जो इंटरनेशनल कंपोनेंट्स फॉर यूनिकोड (ICU) UScriptCode वैल्यूज से मैप होते हैं।
tf.strings.unicode_scriptऑपरेशन को कोडपॉइंट्स के बहुआयामी tf.Tensors या tf.RaggedTensors पर भी लागू किया जा सकता है।
