समस्या विवरण
जब कंप्यूटर प्राकृतिक भाषा को प्रोसेस करते हैं, तो कुछ अत्यंत सामान्य शब्द जो दस्तावेज़ चयन में उपयोगकर्ता की आवश्यकता से मेल खाने में कम मूल्य के प्रतीत होते हैं, उन्हें पूरी तरह से शब्दावली से बाहर रखा जाता है। इन शब्दों को स्टॉप वर्ड्स कहा जाता है।
उदाहरण के लिए, यदि आप इनपुट वाक्य देते हैं:
John is a person who takes care of the people around him.
स्टॉप वर्ड हटाने के बाद, आपको आउटपुट मिलेगा:
['John', 'person', 'takes', 'care', 'people', 'around', '.']
NLTK में इन स्टॉपवर्ड्स का संग्रह है जिसका उपयोग हम किसी भी दिए गए वाक्य से इन्हें हटाने के लिए कर सकते हैं। यह NLTK.corpus मॉड्यूल के अंदर है। हम इसका उपयोग अपने वाक्य से स्टॉप वर्ड्स को फ़िल्टर करने के लिए कर सकते हैं।
उदाहरण
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
my_sent = "John is a person who takes care of people around him."
tokens = word_tokenize(my_sent)
filtered_sentence = [w for w in tokens if not w in stopwords.words()]
print(filtered_sentence)
आउटपुट
['John', 'person', 'takes', 'care', 'people', 'around', '.']
