वेब माइनिंग को मोटे तौर पर वेब के लिए अनुकूलित डेटा माइनिंग विधियों के अनुप्रयोग के रूप में देखा जा सकता है, जबकि डेटा माइनिंग को नॉलेज डिस्कवरी प्रक्रिया में निश्चित ज्यादातर संरचित डेटा पर पैटर्न खोजने के लिए एल्गोरिदम के अनुप्रयोग के रूप में दर्शाया जाता है।
वेब माइनिंग में कई डेटा प्रकारों के संग्रह का समर्थन करने का एक विशिष्ट गुण है। वेब के कई पहलू हैं जो माइनिंग प्रक्रिया के लिए कई दृष्टिकोण उत्पन्न करते हैं, जैसे टेक्स्ट सहित वेब पेज, वेब पेज हाइपरलिंक्स के माध्यम से जुड़े हुए हैं, और उपयोगकर्ता गतिविधि को वेब सर्वर लॉग्स के माध्यम से मॉनिटर किया जा सकता है।
निम्नलिखित अवलोकनों के आधार पर, वेब प्रभावी संसाधन और ज्ञान खोज के लिए बड़ी चुनौतियां भी प्रस्तुत करता है।
मुख्य चुनौतियाँ
वेब कुशल डेटा वेयरहाउसिंग और डेटा माइनिंग के लिए बहुत बड़ा लगता है - वेब का आकार सैकड़ों टेराबाइट्स के क्रम में है और अभी भी तेजी से बढ़ रहा है। कुछ संगठन और समाज वेब पर कई सार्वजनिक-उपलब्ध डेटा रखते हैं। वेब पर कुछ डेटा को दोहराने, सहेजने, या एकीकृत करने के लिए डेटा वेयरहाउस स्थापित करना लागू होता है।
वेब पेजों की जटिलता किसी भी पारंपरिक टेक्स्ट डॉक्यूमेंट संग्रह से कहीं अधिक है - वेब पेजों में एक एकीकृत संरचना का अभाव है। उनमें किसी भी पुस्तक सेट या अन्य पारंपरिक टेक्स्ट-आधारित दस्तावेजों की तुलना में कहीं अधिक ऑथरिंग स्टाइल और कंटेंट विविधताएं होती हैं।
वेब को एक विशाल डिजिटल लाइब्रेरी के रूप में माना जाता है - लेकिन, इस लाइब्रेरी में रिकॉर्ड्स की जबरदस्त संख्या किसी विशिष्ट क्रम के अनुसार व्यवस्थित नहीं है। तत्व द्वारा कोई इंडेक्स नहीं है, न शीर्षक द्वारा, न लेखक द्वारा, न कवर पेज द्वारा, न कंटेंट टेबल द्वारा, आदि। ऐसी लाइब्रेरी में वांछित जानकारी खोजना बहुत चुनौतीपूर्ण हो सकता है।
वेब एक अत्यधिक गतिशील सूचना स्रोत है - वेब न केवल तेजी से बढ़ता है, बल्कि इसकी जानकारी भी लगातार अपडेट होती रहती है। समाचार, स्टॉक मार्केट, मौसम, खेल, खरीदारी, कंपनी विज्ञापन, और कई अन्य वेब पेज वेब पर नियमित रूप से अपडेट होते हैं। लिंकेज जानकारी और एक्सेस रिकॉर्ड भी बार-बार अपडेट होते हैं।
वेब उपयोगकर्ता समुदायों की एक विस्तृत विविधता को सेवा प्रदान करता है - इंटरनेट वर्तमान में 100 मिलियन से अधिक वर्कस्टेशन को जोड़ता है, और इसका उपयोगकर्ता समुदाय अभी भी तेजी से विस्तार कर रहा है। उपयोगकर्ताओं की कई पृष्ठभूमि, रुचियां, और उपयोग लक्ष्य हो सकते हैं।
कुछ उपयोगकर्ताओं को डेटा नेटवर्क की संरचना का सर्वोत्तम ज्ञान नहीं हो सकता है और वे एक विशिष्ट खोज की भारी लागत से अवगत नहीं हो सकते हैं। वे नेटवर्क के "अंधेरे" में टटोलकर आसानी से खो सकते हैं या कई एक्सेस "हॉप्स" लेने और अधीरता से जानकारी के एक टुकड़े की प्रतीक्षा करके ऊब सकते हैं।
