निष्कर्षण एक स्रोत प्रणाली से जानकारी निकालने की सेवा है जो डेटा वेयरहाउस वातावरण में अतिरिक्त सहायता के लिए है। यह ETL प्रक्रिया की पहली प्रक्रिया है। निष्कर्षण के बाद, इस डेटा को बदला जा सकता है और डेटा वेयरहाउस में लोड किया जा सकता है। डेटा वेयरहाउस के लिए स्रोत प्रणालियां आमतौर पर लेनदेन प्रसंस्करण सॉफ्टवेयर हैं। बिक्री विश्लेषण डेटा वेयरहाउस के लिए स्रोत प्रणालियां एक ऑर्डर एंट्री सिस्टम हो सकती हैं जो वर्तमान ऑर्डर गतिविधियों के सभी डेटा को रिकॉर्ड करता है।
डेटा निष्कर्षण वह जगह है जहां डेटा पर विचार किया जाता है और प्रासंगिक जानकारी को डेटा स्रोतों (जैसे डेटाबेस) से एक निश्चित डिजाइन में लाने के लिए स्थानांतरित किया जाता है। आगे डेटा प्रोसेसिंग पूरी की जाती है, जिसमें मेटाडेटा डालना और अन्य डेटा इंटीग्रेशन शामिल हैं; डेटा वर्कफ्लो में एक और प्रक्रिया।
डेटा निष्कर्षण का बड़ा हिस्सा असंरचित डेटा स्रोतों और कई डेटा संरचनाओं से आता है। यह असंरचित डेटा किसी भी रूप में हो सकता है, जिसमें टेबल, इंडेक्स, और एनालिटिक्स शामिल हैं।
एक वेयरहाउस में डेटा कई स्रोतों से आ सकता है, एक डेटा वेयरहाउस को आने वाले रिकॉर्ड का उपयोग करने के लिए तीन अलग-अलग तकनीकों की आवश्यकता होती है। इन प्रक्रियाओं को निष्कर्षण, ट्रांसफॉर्मेशन, और लोडिंग (ETL) के रूप में संदर्भित किया जाता है।
डेटा निष्कर्षण की प्रक्रिया में गन्दे डेटा स्रोतों से जानकारी की पुनर्प्राप्ति शामिल है। डेटा अर्क को रिलेशनल डेटाबेस के स्टेजिंग ऑपरेशन में लोड किया जाता है। इसलिए निष्कर्षण तर्क का उपयोग किया जाता है और स्रोत प्रणाली से सॉफ्टवेयर प्रोग्रामिंग इंटरफेस का उपयोग करके डेटा के लिए पूछा जाता है।
डेटा निष्कर्षण टूल्स के प्रकार
विभिन्न प्रकार के डेटा निष्कर्षण टूल्स निम्नलिखित हैं:
बैच प्रोसेसिंग टूल्स: लीगेसी डेटा निष्कर्षण टूल्स इस डेटा को बैचों में बनाते हैं, आमतौर पर ऑफ-आवर्स के दौरान उच्च मात्रा में मूल्यांकन शक्ति का उपयोग करने के प्रभाव को कम करने के लिए। एक बंद, ऑन-प्रिमाइज़ सेटिंग के साथ डेटा स्रोतों का एक मध्यम रूप से सजातीय सेट के लिए, बैच निष्कर्षण समाधान सबसे अच्छा दृष्टिकोण हो सकता है।
ओपन सोर्स टूल्स: ओपन सोर्स टूल्स बजट-सीमित सॉफ्टवेयर के लिए सबसे उपयुक्त हो सकते हैं, यह देखते हुए कि सहायक फ्रेमवर्क और ज्ञान क्षेत्र में है। विभिन्न विक्रेता अपने उत्पादों के सीमित या "लाइट" संस्करण को ओपन-सोर्स के रूप में भी प्रदान करते हैं।
क्लाउड-आधारित टूल्स: क्लाउड-आधारित टूल्स निष्कर्षण उत्पादों की वर्तमान पीढ़ी हैं। लक्ष्य ETL/ELT प्रक्रिया के एक तत्व के रूप में डेटा के वास्तविक समय निष्कर्षण पर है और क्लाउड-आधारित टूल्स इस स्थान में उत्कृष्टता प्राप्त करते हैं, डेटा स्टोरेज और विश्लेषण के लिए क्लाउड के सभी समर्थन का लाभ उठाते हैं। ये टूल्स सुरक्षा और अनुपालन की समस्या को भी दूर करते हैं क्योंकि आज के क्लाउड विक्रेता इन क्षेत्रों को लक्षित करना जारी रखते हैं, इस विशेषज्ञता को घर में बनाने की आवश्यकता को समाप्त करते हैं।
