यूनिकोड स्ट्रिंग को विभाजित किया जा सकता है, और unicode_split मेथड और unicode_decode_with_offsets मेथड्स का उपयोग करके क्रमशः बाइट ऑफसेट निर्दिष्ट किया जा सकता है। ये मेथड्स tensorflow मॉड्यूल के string क्लास में मौजूद हैं।
और पढ़ें: TensorFlow क्या है और Keras, TensorFlow के साथ मिलकर न्यूरल नेटवर्क कैसे बनाता है?
शुरू करने के लिए, Python का उपयोग करके यूनिकोड स्ट्रिंग्स को दर्शाएं, और यूनिकोड समकक्षों का उपयोग करके उनमें हेरफेर करें। स्टैंडर्ड स्ट्रिंग ऑप्स के यूनिकोड समकक्षों की मदद से स्क्रिप्ट डिटेक्शन के आधार पर यूनिकोड स्ट्रिंग्स को टोकन में अलग करें।
हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर Python कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPUs (ग्राफ़िकल प्रोसेसिंग यूनिट्स) तक मुफ्त पहुंच की आवश्यकता होती है। Colaboratory को Jupyter Notebook के ऊपर बनाया गया है।
print("यूनिकोड स्ट्रिंग्स को विभाजित करें")
tf.strings.unicode_split(thanks, 'UTF-8').numpy()
codepoints, offsets = tf.strings.unicode_decode_with_offsets(u"🎈🎉🎊", 'UTF-8')
print("कैरेक्टर्स के लिए बाइट ऑफसेट प्रिंट करें")
for (codepoint, offset) in zip(codepoints.numpy(), offsets.numpy()):
print("बाइट ऑफसेट {} पर: कोडपॉइंट {}".format(offset, codepoint))कोड क्रेडिट: https://www.tensorflow.org/tutorials/load_data/unicode
आउटपुट
यूनिकोड स्ट्रिंग्स को विभाजित करें
कैरेक्टर्स के लिए बाइट ऑफसेट प्रिंट करें
बाइट ऑफसेट 0 पर: कोडपॉइंट 127880
बाइट ऑफसेट 4 पर: कोडपॉइंट 127881
बाइट ऑफसेट 8 पर: कोडपॉइंट 127882व्याख्या
tf.strings.unicode_splitऑपरेशन यूनिकोड स्ट्रिंग्स को व्यक्तिगत कैरेक्टर्स के सबस्ट्रिंग्स में विभाजित करता है।- जनरेट किया गया कैरेक्टर टेंसर
tf.strings.unicode_decodeके साथ मूल स्ट्रिंग के साथ संरेखित होना चाहिए। - इस उद्देश्य के लिए, यह जानना आवश्यक है कि प्रत्येक कैरेक्टर कहां शुरू होता है।
tf.strings.unicode_decode_with_offsetsमेथडunicode_decodeमेथड के समान है, सिवाय इसके कि पूर्व एक दूसरा टेंसर लौटाता है जिसमें प्रत्येक कैरेक्टर का स्टार्ट ऑफसेट होता है।
