यूनिकोड ऑपरेशन को स्ट्रिंग्स की लंबाई लाकर, और इसे अन्य मानों पर सेट करके (डिफ़ॉल्ट मान 'बाइट' है) किया जा सकता है। कोड पॉइंट्स के वेक्टर को एन्कोडेड स्ट्रिंग स्केलर में बदलने के लिए encode मेथड का उपयोग किया जाता है। यह प्रत्येक एन्कोडेड स्ट्रिंग में यूनिकोड कोड पॉइंट्स निर्धारित करने के लिए किया जाता है।
और पढ़ें: TensorFlow क्या है और Keras, TensorFlow के साथ मिलकर न्यूरल नेटवर्क कैसे बनाता है?
प्राकृतिक भाषा को प्रोसेस करने वाले मॉडल विभिन्न भाषाओं को संभालते हैं जिनके अलग-अलग कैरेक्टर सेट होते हैं। यूनिकोड को स्टैंडर्ड एन्कोडिंग सिस्टम माना जाता है जिसका उपयोग लगभग सभी भाषाओं के कैरेक्टर्स को दर्शाने के लिए किया जाता है। प्रत्येक कैरेक्टर को 0 और 0x10FFFF के बीच एक अद्वितीय इंटीजर कोड पॉइंट की मदद से एन्कोड किया जाता है। एक यूनिकोड स्ट्रिंग शून्य या अधिक कोड वैल्यूज का एक क्रम है।
आइए समझते हैं कि Python का उपयोग करके यूनिकोड स्ट्रिंग्स को कैसे दर्शाया जाए, और यूनिकोड समकक्षों का उपयोग करके उनमें हेरफेर किया जाए। सबसे पहले, हम स्टैंडर्ड स्ट्रिंग ऑप्स के यूनिकोड समकक्षों की मदद से स्क्रिप्ट डिटेक्शन के आधार पर यूनिकोड स्ट्रिंग्स को टोकन में अलग करते हैं।
हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab या Colaboratory ब्राउज़र पर Python कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPUs (ग्राफ़िकल प्रोसेसिंग यूनिट्स) तक मुफ्त पहुंच की आवश्यकता होती है। Colaboratory को Jupyter Notebook के ऊपर बनाया गया है।
print("अंतिम कैरेक्टर UTF-8 एन्कोडिंग में लगभग 4 बाइट्स लेता है")
thanks = u'Hello 😊'.encode('UTF-8')
num_bytes = tf.strings.length(thanks).numpy()
num_chars = tf.strings.length(thanks, unit='UTF8_CHAR').numpy()
print('{} बाइट्स; {} UTF-8 कैरेक्टर्स'.format(num_bytes, num_chars))कोड क्रेडिट: https://www.tensorflow.org/tutorials/load_data/unicode
आउटपुट
अंतिम कैरेक्टर UTF-8 एन्कोडिंग में लगभग 4 बाइट्स लेता है
10 बाइट्स; 7 UTF-8 कैरेक्टर्सव्याख्या
tf.strings.lengthऑपरेशन में एक पैरामीटर unit होता है जो इंगित करता है कि लंबाई की गणना किस विधि से की जानी चाहिए।- यूनिट डिफ़ॉल्ट "BYTE" है, लेकिन इसे अन्य मानों पर सेट किया जा सकता है, जैसे "UTF8_CHAR" या "UTF16_CHAR"।
- यह प्रत्येक एन्कोडेड स्ट्रिंग में यूनिकोड कोडपॉइंट्स की संख्या खोजने के लिए किया जाता है।
