टेक्स्ट माइनिंग को टेक्स्ट विश्लेषण के रूप में भी जाना जाता है। यह आसान विश्लेषण के लिए असंरचित टेक्स्ट को संरचित डेटा में बदलने की प्रक्रिया है। टेक्स्ट माइनिंग को प्राकृतिक भाषा प्रसंस्करण (NLP) की आवश्यकता होती है, जो उपकरणों को मानव भाषा सीखने और इसे स्वचालित रूप से संसाधित करने में सक्षम बनाता है।
इसे मानक भाषा टेक्स्ट से आवश्यक डेटा निकालने की प्रक्रिया के रूप में परिभाषित किया गया है। टेक्स्ट संदेशों, दस्तावेज़ों, ईमेल, फ़ाइलों के माध्यम से हमारे द्वारा उत्पन्न कुछ डेटा सामान्य भाषा टेक्स्ट में लिखे जाते हैं। टेक्स्ट माइनिंग का उपयोग आमतौर पर ऐसे डेटा से लाभकारी अंतर्दृष्टि या पैटर्न निकालने के लिए किया जाता है।
टेक्स्ट माइनिंग एक स्वचालित प्रक्रिया है जो असंरचित टेक्स्ट से मूल्यवान दृष्टि प्राप्त करने के लिए प्राकृतिक भाषा प्रसंस्करण का उपयोग करती है। डेटा को उस जानकारी में बदलकर जिसे उपकरण सीख सकते हैं, टेक्स्ट माइनिंग भावना, विषय और इरादे के अनुसार टेक्स्ट को वर्गीकृत करने की प्रक्रिया को स्वचालित करती है।
टेक्स्ट माइनिंग प्रक्रिया के चरण
दस्तावेज़ एकत्रीकरण (Document Gathering)
पहले चरण में, टेक्स्ट दस्तावेज़ एकत्र किए जाते हैं, जो कई प्रारूपों में मौजूद होते हैं। दस्तावेज़ PDF, वर्ड, HTML डॉक, CSS आदि के रूप में हो सकते हैं।
दस्तावेज़ पूर्व-प्रसंस्करण (Document Pre-Processing)
इस प्रक्रिया में, दिए गए इनपुट दस्तावेज़ को अतिरेक, विसंगतियों, स्वतंत्र शब्दों, स्टेमिंग को हटाने के लिए संसाधित किया जाता है और फ़ाइलों को अगले चरण के लिए तैयार किया जाता है। लागू चरण निम्नलिखित हैं:
- टोकनाइज़ेशन (Tokenization) - दिए गए दस्तावेज़ को एक स्ट्रिंग के रूप में माना जाता है और दस्तावेज़ में एकल शब्द को पहचाना जाता है यानी दिए गए दस्तावेज़ स्ट्रिंग को एक इकाई या टोकन में विभाजित किया जाता है।
- स्टॉप वर्ड हटाना (Removal of Stop Words) - इस प्रक्रिया में "a, an, but, and, of, the" जैसे स्थिर शब्दों को हटाया जाता है।
- स्टेमिंग (Stemming) - एक स्टेम समान अर्थ वाले शब्दों का एक प्राकृतिक समूह है। यह दृष्टिकोण एक विशिष्ट शब्द का आधार परिभाषित करता है। दो प्रकार की विधियाँ हैं: इन्फ्लेक्शनल और डेरिवेशनल स्टेमिंग। स्टेमिंग के लिए प्रसिद्ध एल्गोरिदम में पोर्टर का एल्गोरिदम है - जैसे यदि कोई दस्तावेज़ "resignation, resigned, resigns" जैसे शब्दों से संबंधित है तो स्टेमिंग विधि का उपयोग करने के बाद इसे "resigning" माना जाएगा।
टेक्स्ट परिवर्तन (Text Transformation)
एक टेक्स्ट दस्तावेज़ शब्दों (फीचर) और उनकी उपस्थिति का एक समूह है। ऐसे दस्तावेज़ों के प्रतिनिधित्व के लिए दो विधियाँ हैं: वेक्टर स्पेस मॉडल और बैग ऑफ वर्ड्स।
फीचर चयन / विशेषता चयन (Feature Selection / Attribute Selection)
यह दृष्टिकोण इनपुट दस्तावेज़ से अप्रासंगिक विशेषताओं को हटाकर कम डेटाबेस स्थान, न्यूनतम खोज विधियों का परिणाम देता है।
डेटा माइनिंग / पैटर्न चयन (Data Mining / Pattern Selection)
इस प्रक्रिया में, पारंपरिक डेटा माइनिंग प्रक्रिया टेक्स्ट माइनिंग प्रक्रिया के साथ जुड़ती है। एक संरचित डेटाबेस पूर्व चरण से उत्पन्न क्लासिक डेटा माइनिंग तकनीकों की सुविधा देता है।
मूल्यांकन (Evaluate)
यह चरण परिणाम की गणना करता है। यह परिणामी परिणाम को केंद्रित किया जा सकता है या अगले चरणों के अनुक्रम के लिए उपयोग किया जा सकता है।
