ETL का मतलब एक्सट्रैक्ट, ट्रांसफॉर्म, और लोड है। यह वह प्रक्रिया है जिसे डेटा-संचालित संगठन कई स्रोतों से डेटा इकट्ठा करने और फिर खोज, रिपोर्टिंग, विश्लेषण, और निर्णय लेने का समर्थन करने के लिए इसे एक साथ लाने के लिए उपयोग करते हैं।
डेटा स्रोत प्रकार, प्रारूप, मात्रा, और विश्वसनीयता में भिन्न हो सकते हैं, इसलिए डेटा को एक साथ वितरित होने पर उपयोगी होने के लिए संसाधित करने की आवश्यकता होती है। टारगेट डेटा स्टोर डेटाबेस, डेटा वेयरहाउस, या डेटा लेक हो सकते हैं, जो उद्देश्यों और तकनीकी निष्पादन पर आधारित हैं। ETL के निम्नलिखित चरण हैं:
एक्सट्रैक्ट - निष्कर्षण के दौरान, ETL डेटा को पहचानता है और इसे अपने स्रोतों से डुप्लिकेट करता है, इसलिए यह डेटा को टारगेट डेटास्टोर में ले जा सकता है। डेटा संरचित और असंरचित स्रोतों से आ सकता है, जिसमें फाइलें, ईमेल, व्यावसायिक सॉफ्टवेयर, डेटाबेस, उपकरण, सेंसर, थर्ड पार्टी, आदि शामिल हैं।
निष्कर्षण करने के विभिन्न तरीके हैं जैसे
आंशिक निष्कर्षण - जानकारी तक पहुंचने का सबसे सरल तरीका यह है कि यदि स्रोत सिस्टम हमें सूचित करता है जब एक रिकॉर्ड संशोधित किया गया है।
आंशिक निष्कर्षण (अपडेट अधिसूचना के साथ) - यह सभी सिस्टम अपडेट होने की स्थिति में घोषणा प्रदान नहीं कर सकते हैं; लेकिन, वे उन रिकॉर्ड्स को चिह्नित कर सकते हैं जो बदल गए हैं और ऐसे रिकॉर्ड्स का निष्कर्षण समर्थन कर सकते हैं।
पूर्ण निष्कर्षण - कुछ सिस्टम यह पहचान नहीं सकते कि कौन सा डेटा बिल्कुल बदल गया है। इस मामले में, पूर्ण निष्कर्षण सिस्टम से रिकॉर्ड निकालने की एकमात्र व्यवहार्यता है। इस दृष्टिकोण को अंतिम निष्कर्षण की एक प्रति उसी प्रारूप में रखने की आवश्यकता होती है ताकि यह पहचान सके कि क्या परिवर्तन किए गए हैं।
ट्रांसफॉर्म - दूसरा चरण स्रोतों से निकाले गए कच्ची जानकारी को एक प्रारूप में बदलना शामिल है जिसका उपयोग कई एप्लिकेशन द्वारा किया जा सकता है। इस चरण में, डेटा को साफ, मैप, और ट्रांसफॉर्म किया गया है, एक निश्चित स्कीमा प्रदान करके, इसलिए यह परिचालन आवश्यकताओं को पूरा करता है।
इस प्रक्रिया में डेटा की गुणवत्ता और अखंडता प्रदान करने वाले कई प्रकार के ट्रांसफॉर्मेशन की आवश्यकता होती है। डेटा आमतौर पर सीधे टारगेट डेटा स्रोत में लोड नहीं किया जाता है, लेकिन वैकल्पिक रूप से, इसे स्टेजिंग डेटाबेस में अपलोड करना आम है।
यह चरण कुछ योजना के अनुसार नहीं होने पर त्वरित रोलबैक सुनिश्चित करता है। इस चरण के दौरान, यह नियामक अनुपालन के लिए ऑडिट दस्तावेज़ बना सकता है, या कुछ डेटा समस्याओं का निदान और मरम्मत कर सकता है।
लोड - ETL ट्रांसफॉर्म की गई जानकारी को टारगेट डेटास्टोर में ले जाता है। इस चरण में सभी स्रोत जानकारी का मूल लोडिंग, या स्रोत जानकारी में वृद्धिशील परिवर्तनों का लोडिंग शामिल हो सकता है। यह डेटा को रीयल-टाइम या शेड्यूल्ड बैच में लोड कर सकता है।
