'wordshape' मेथड का उपयोग विशिष्ट शर्तों जैसे 'HAS_TITLE_CASE', 'IS_NUMERIC_VALUE', या 'HAS_SOME_PUNCT_OR_SYMBOL' के साथ यह देखने के लिए किया जा सकता है कि क्या स्ट्रिंग में कोई विशेष गुण है।
और पढ़ें: टेंसरफ्लो क्या है और केरस टेंसरफ्लो के साथ न्यूरल नेटवर्क बनाने में कैसे काम करता है?
हम केरस सीक्वेंशियल API का उपयोग करेंगे, जो एक सीक्वेंशियल मॉडल बनाने में सहायक है जिसका उपयोग लेयर के सादे स्टैक के साथ काम करने के लिए किया जाता है, जहां प्रत्येक लेयर में ठीक एक इनपुट टेंसर और एक आउटपुट टेंसर होता है।
एक न्यूरल नेटवर्क जिसमें कम से कम एक लेयर होती है, कन्वोल्यूशनल लेयर के रूप में जानी जाती है। हम कन्वोल्यूशनल न्यूरल नेटवर्क का उपयोग लर्निंग मॉडल बनाने के लिए कर सकते हैं।
टेंसरफ्लो टेक्स्ट में टेक्स्ट-संबंधित क्लास और ऑप्स का संग्रह होता है जिसे टेंसरफ्लो 2.0 के साथ उपयोग किया जा सकता है। टेंसरफ्लो टेक्स्ट का उपयोग सीक्वेंस मॉडलिंग को प्रीप्रोसेस करने के लिए किया जा सकता है।
हम नीचे दिए गए कोड को चलाने के लिए Google Colaboratory का उपयोग कर रहे हैं। Google Colab या कोलेबोरेटरी ब्राउज़र पर पायथन कोड चलाने में मदद करता है और इसके लिए शून्य कॉन्फ़िगरेशन और GPU (ग्राफिकल प्रोसेसिंग यूनिट्स) तक मुफ्त पहुंच की आवश्यकता होती है। कोलेबोरेटरी को जुपिटर नोटबुक के शीर्ष पर बनाया गया है।
टोकनाइज़ेशन एक स्ट्रिंग को टोकन में तोड़ने की विधि है। ये टोकन शब्द, संख्या, या विराम चिह्न हो सकते हैं। प्रमुख इंटरफ़ेस में Tokenizer और TokenizerWithOffsets शामिल हैं जिनमें से प्रत्येक में क्रमशः tokenize और tokenize_with_offsets नामक एकल मेथड होता है। कई टोकनाइज़र हैं, जिनमें से प्रत्येक TokenizerWithOffsets को लागू करता है (जो Tokenizer क्लास को विस्तारित करता है)। इसमें मूल स्ट्रिंग में बाइट ऑफसेट प्राप्त करने का विकल्प शामिल है। यह जानने में मदद करता है कि मूल स्ट्रिंग में बाइट्स से टोकन बनाया गया था।
कुछ नेचुरल लैंग्वेज अंडरस्टैंडिंग मॉडल में उपयोग की जाने वाली एक सामान्य विशेषता यह देखना है कि टेक्स्ट स्ट्रिंग में कोई विशिष्ट गुण है या नहीं। Wordshape आपके इनपुट टेक्स्ट में विभिन्न प्रासंगिक पैटर्न मिलान के लिए उपयोगी रेगुलर एक्सप्रेशन आधारित हेल्पर फ़ंक्शन की एक किस्म को परिभाषित करता है। यहां कुछ उदाहरण हैं।
उदाहरण
print("व्हाइटस्पेस टोकनाइज़र कॉल किया जा रहा है")
tokenizer = text.WhitespaceTokenizer()
print("टोकन जनरेट किए जा रहे हैं")
tokens = tokenizer.tokenize(['Everything that is not saved will be lost.', u'Sad☹'.encode('UTF-8')])
print("जांचें कि क्या यह कैपिटलाइज़्ड है")
f1 = text.wordshape(tokens, text.WordShape.HAS_TITLE_CASE)
print("जांचें कि क्या सभी अक्षर अपरकेस हैं")
f2 = text.wordshape(tokens, text.WordShape.IS_UPPERCASE)
print("जांचें कि क्या टोकन में विराम चिह्न हैं")
f3 = text.wordshape(tokens, text.WordShape.HAS_SOME_PUNCT_OR_SYMBOL)
print("जांचें कि क्या टोकन एक संख्या है")
f4 = text.wordshape(tokens, text.WordShape.IS_NUMERIC_VALUE)
print("परिणाम प्रिंट करना")
print(f1.to_list())
print(f2.to_list())
print(f3.to_list())
print(f4.to_list())कोड क्रेडिट - https://www.tensorflow.org/tutorials/tensorflow_text/intro
आउटपुट
व्हाइटस्पेस टोकनाइज़र कॉल किया जा रहा है टोकन जनरेट किए जा रहे हैं जांचें कि क्या यह कैपिटलाइज़्ड है जांचें कि क्या सभी अक्षर अपरकेस हैं जांचें कि क्या टोकन में विराम चिह्न हैं जांचें कि क्या टोकन एक संख्या है परिणाम प्रिंट करना [[True, False, False, False, False, False, False, False], [True]] [[False, False, False, False, False, False, False, False], [False]] [[False, False, False, False, False, False, False, True], [True]] [[False, False, False, False, False, False, False, False], [False]]
व्याख्या
- 'WhitespaceTokenizer' कॉल किया जाता है, और टोकन जनरेट किए जाते हैं।
- अक्षरों की जांच की जाती है कि वे अपरकेस हैं या नहीं।
- विराम चिह्न और क्या यह संख्या है या नहीं, इसकी भी जांच की जाती है।
- इन गणनाओं के बाद, बूलियन मान प्रदर्शित किए जाते हैं।
