समस्या विवरण
एक वर्ण अनुक्रम और एक परिभाषित दस्तावेज़ इकाई दिए जाने पर, टोकनाइज़ेशन इसे टुकड़ों में काटने का कार्य है, जिन्हें टोकन कहा जाता है, शायद उसी समय कुछ वर्णों को फेंक देना, जैसे विराम चिह्न। NLTK और पायथन के संदर्भ में, यह प्रत्येक टोकन को एक सूची में रखने की प्रक्रिया है ताकि प्रत्येक अक्षर पर एक समय में पुनरावृति करने के बजाय, हम एक टोकन पर पुनरावृति कर सकें।
उदाहरण के लिए, दिए गए इनपुट स्ट्रिंग के लिए:
Hi man, how have you been?
हमें आउटपुट मिलना चाहिए:
['Hi', 'man', ',', 'how', 'have', 'you', 'been', '?']
हम NLTK से word_tokenize मेथड का उपयोग करके इस टेक्स्ट को टोकनाइज़ कर सकते हैं।
उदाहरण
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
my_sent = "Hi man, how have you been?"
tokens = word_tokenize(my_sent)
print(tokens)
आउटपुट
['Hi', 'man', ',', 'how', 'have', 'you', 'been', '?']
