डेटा वेयरहाउसिंग एक तकनीक है जिसका उपयोग मुख्य रूप से विभिन्न स्रोतों से डेटा एकत्र करने और प्रबंधित करने के लिए किया जाता है ताकि व्यवसाय को सार्थक व्यावसायिक अंतर्दृष्टि मिल सके। एक डेटा वेयरहाउस विशेष रूप से प्रबंधन निर्णयों का समर्थन करने के लिए डिज़ाइन किया गया है।
सरल शब्दों में, एक डेटा वेयरहाउस एक डेटाबेस को संदर्भित करता है जिसे संगठन के ऑपरेशनल डेटाबेस से अलग से बनाए रखा जाता है। डेटा वेयरहाउस सिस्टम कई एप्लिकेशन सिस्टम के एकीकरण को सक्षम करते हैं। वे विश्लेषण के लिए समेकित, ऐतिहासिक जानकारी के एक ठोस मंच का समर्थन करके डेटा प्रोसेसिंग प्रदान करते हैं।
डेटा वेयरहाउस बहुआयामी स्थान में जानकारी को सामान्यीकृत और समेकित करते हैं। डेटा वेयरहाउस के निर्माण में डेटा सफाई, डेटा इंटीग्रेशन, और डेटा ट्रांसफॉर्मेशन शामिल हैं और इसे डेटा माइनिंग के लिए एक आवश्यक प्री-प्रोसेसिंग चरण माना जा सकता है। इन उपकरणों और उपयोगिताओं में निम्नलिखित कार्य शामिल हैं:
डेटा निष्कर्षण (Data Extraction)
डेटा सफाई (Data Cleaning)
डेटा सफाई का अर्थ है लापता मानों को भरकर, शोर डेटा को स्मूथ करके, आउटलेयर्स की पहचान करके और हटाकर, और डेटा में असंगतियों को हटाकर डेटा को साफ करना।
डेटा सफाई के प्रकार
लापता मान (Missing Values): लापता मानों को उपयुक्त मानों से भरा जाता है। मान भरने के दृष्टिकोण निम्नलिखित हैं।
शोर डेटा (Noisy Data): शोर एक मापा चर में यादृच्छिक त्रुटि या विचरण है। शोर को संभालने के लिए स्मूथिंग तकनीकें निम्नलिखित हैं:
बिनिंग (Binning): ये तकनीकें एक क्रमबद्ध डेटा मान को उसके "पड़ोस" से परामर्श करके स्मूथ करती हैं, अर्थात शोर डेटा के आसपास के मान। क्रमबद्ध मानों को कई बकेट या बिन में असाइन किया जाता है। चूंकि बिनिंग विधियां मानों के पड़ोस से परामर्श करती हैं, वे स्थानीय स्मूथिंग लागू करती हैं।
रिग्रेशन (Regression): रिकॉर्ड को रिग्रेशन सहित एक फलन में फिट करके डेटा को स्मूथ किया जा सकता है। रैखिक रिग्रेशन में दो विशेषताओं (या चरों) को फिट करने के लिए "सर्वोत्तम" रेखा ढूंढना शामिल है ताकि एक विशेषता का उपयोग दूसरी की भविष्यवाणी के लिए किया जा सके। मल्टीपल रैखिक रिग्रेशन रैखिक रिग्रेशन का विस्तार है, जहां दो से अधिक विशेषताएं शामिल हैं और डेटा को बहुआयामी सतह पर फिट किया जाता है।
क्लस्टरिंग (Clustering): क्लस्टरिंग आउटलेयर्स की पहचान करने में मदद करता है। समान मानों को क्लस्टर्स में व्यवस्थित किया जाता है और जो मान क्लस्टर के बाहर आते हैं उन्हें आउटलेयर्स कहा जाता है।
डेटा ट्रांसफॉर्मेशन (Data Transformation)
डेटा ट्रांसफॉर्मेशन में, डेटा को खनन के लिए उपयुक्त रूपों में परिवर्तित या समेकित किया जाता है। डेटा ट्रांसफॉर्मेशन में निम्नलिखित शामिल हो सकते हैं:
स्मूथिंग: यह डेटा से शोर हटाने का काम करता है। ऐसी तकनीकों में बिनिंग, रिग्रेशन, और क्लस्टरिंग शामिल हैं।
एग्रीगेशन: एग्रीगेशन में, डेटा पर सारांश या एग्रीगेशन ऑपरेशन लागू किए जाते हैं।
सामान्यीकरण: सामान्यीकरण में, निम्न-स्तरीय या "आदिम" (कच्चे) डेटा को कॉन्सेप्ट हायरार्की के उपयोग के माध्यम से उच्च-स्तरीय अवधारणाओं द्वारा प्रतिस्थापित किया जाता है।
लोड (Load)
यह सॉर्ट, सारांश, समेकित, व्यू की गणना, अखंडता जांच, और इंडेक्स और पार्टीशन का निर्माण करता है।
रिफ्रेश (Refresh)
यह डेटा स्रोतों से डेटा वेयरहाउस तक अपडेट का प्रसार करता है।
