डेटा का मूल्य
यह तेजी से स्पष्ट हो रहा है कि एक कंपनी के डेटा में भारी संभावित मूल्य होता है। Google, Facebook, और अन्य जैसे कई इंटरनेट दिग्गजों के लिए, उनका मूल्य काफी हद तक उनके डेटा से प्राप्त होता है। लेकिन आपको अपने डेटा से मूल्य प्राप्त करने के लिए इंटरनेट दिग्गज होने की आवश्यकता नहीं है। औद्योगिक कंपनियों द्वारा मशीन विफलता की भविष्यवाणी करने के लिए, वित्तीय संस्थानों द्वारा जोखिम को बेहतर ढंग से प्रबंधित करने के लिए, ऑनलाइन खुदरा विक्रेताओं द्वारा ग्राहक प्रतिधारण बढ़ाने के लिए, और अनगिनत अन्य संस्थानों द्वारा नई अंतर्दृष्टि खोजने के लिए डेटा का उपयोग किया जा रहा है। यह एक काफी सरल सूत्र की तरह लगता है: बिजनेस एनालिटिक्स टूल्स या मशीन लर्निंग (ML) सिस्टम को डेटा फीड करें और अंतर्दृष्टि प्राप्त करें। वास्तव में, यह इतना सरल नहीं है। हमें विश्लेषण समस्या से निपटने से पहले एक आवश्यक पूर्वापेक्षा को पूरा करना होगा। हमारे पास वास्तव में वह डेटा होना चाहिए जिसमें अंतर्दृष्टि हो।
क्या यह सिर्फ एक और डेटा वेयरहाउस समाधान है?
आप सोच रहे होंगे, "क्या डेटा वेयरहाउस यही समस्या हल नहीं करते?" वास्तव में नहीं। डेटा वेयरहाउस परिभाषित व्यावसायिक समस्याओं के एक सेट को हल करने के लिए बनाए जाते हैं। डेटा वेयरहाउस डेटा अंतर्ग्रहण एक एक्सट्रैक्ट, ट्रांसफॉर्म, लोड (ETL) वर्कफ़्लो का उपयोग करता है। डेटा को स्रोत प्रणाली से निकाला जाता है, डेटा वेयरहाउस की संरचना में परिवर्तित किया जाता है, और फिर डेटा वेयरहाउस में लोड किया जाता है। इस समय तक, डेटा को पहले से ही संरचित, फ़िल्टर, और अन्यथा हेरफेर किया जा चुका होता है ताकि परिभाषित व्यावसायिक समस्या सेट के लिए प्रासंगिक न होने वाले डेटा को बाहर रखा जा सके। ETL प्रक्रिया में, हमने, निहित या स्पष्ट रूप से, कुछ डेटा मूल्यों को रखा और दूसरों को त्याग दिया, डेटा को संवर्धित किया, डेटा आइटम्स के बीच संबंध बनाए, और दूसरों की अवहेलना की। क्या होगा यदि एक नई व्यावसायिक समस्या खोजी जाती है जिसे त्यागी गई जानकारी की आवश्यकता होती है? व्यावसायिक वातावरण हमेशा बदलते रहते हैं, और भविष्य की समस्याओं का अनुमान नहीं लगाया जा सकता। कोई फर्क नहीं पड़ता कि ETL प्रक्रिया वर्तमान व्यावसायिक समस्या सेट के लिए कितनी सही है, इन निर्णयों को डेटा वेयरहाउस को पॉप्युलेट करते समय लेने से भविष्य की संभावित मूल्य की एक बड़ी मात्रा खो जाती है।
डेटा लेक्स में प्रवेश करें
जितना संभव हो उतना संभावित मूल्य बनाए रखने के लिए, हम मूल डेटा को त्याग नहीं सकते। हम सभी डेटा को उसके कच्चे प्रारूप में क्यों नहीं रखते और बाद में तय करते हैं कि इसका उपयोग कैसे करना है? हम डेटा को नदियों की तरह एक केंद्रीय भंडार में प्रवाहित होने दे सकते हैं, जिससे "डेटा" की एक "झील" बनती है। :) दूसरे शब्दों में, डेटा को निकालें और संग्रहीत करें, फिर आवश्यकतानुसार इसे ट्रांसफॉर्म और लोड करें (जिसे अक्सर एक्सट्रैक्ट, लोड, एंड ट्रांसफॉर्म, ELT कहा जाता है - ETL में 'T' और 'L' को ट्रांसपोज़ करना)।
ऐतिहासिक रूप से, स्टोरेज की लागत और किसी भविष्य की तारीख में सार्थक संरचना निकालने की लागत उस संभावित मूल्य से कहीं अधिक थी जो इसमें निहित जानकारी में हो सकती है। हालांकि, स्टोरेज की लागत और अराजकता से उपयोगी संरचना निकालने की लागत गिर गई है, जिससे अधिक से अधिक कंपनियों के लिए ऐसा करना तेजी से किफायती हो गया है।
कच्चे डेटा का कोई भी संग्रह डेटा लेक है, है ना?
ठीक है, काफी सरल। बस सभी कच्चे डेटा को एक ही स्थान पर डंप करें, और हम कर चुके हैं, है ना? इससे बहुत दूर! डेटा अंतर्ग्रहण को ग्राहकों, कंपनियों, और डेटा की रक्षा करते हुए भविष्य के डेटा वैज्ञानिकों और विश्लेषकों के लिए उपलब्ध कराने के लिए ठीक से किया जाना चाहिए। ऐसा करने के लिए, हमें कई महत्वपूर्ण कारकों पर विचार करना होगा।
- भविष्य के डेटा वैज्ञानिक और विश्लेषक जो खोज रहे हैं उसे कैसे ढूंढेंगे? कच्चे डेटा को इंडेक्स किया जाना चाहिए।
- डेटा को कुशल तरीके से कैसे निकाला जा सकता है? डेटा को एक कुशल फ़ाइल प्रारूप में संग्रहीत किया जाना चाहिए, जैसे कॉलमर प्रारूप।
- व्यक्तिगत पहचान योग्य जानकारी (PII), संरक्षित स्वास्थ्य जानकारी (PHI), कार्डहोल्डर डेटा (CD), और अन्य संवेदनशील डेटा के बारे में क्या? डेटा ऑबफस्केशन की आवश्यकता है।
- आप डेटा गोपनीयता (जैसे GDPR), डेटा संप्रभुता को कैसे संभालेंगे, और एक्सेस को नियंत्रित करेंगे ताकि आप एक और डेटा उल्लंघन के लिए सुर्खियों में न हों? उपयुक्त अनुमतियों और एक्सेस कंट्रोल को लागू करने के लिए पहचान और एक्सेस प्रबंधन लागू किया जाना चाहिए।
डेटा का उपयोग करना
डेटा अब लेक में है लेकिन अपने वर्तमान रूप में उपयोग नहीं किया जा सकता। जिन डेटा ट्रांसफॉर्मेशन निर्णयों में देरी हुई थी, उन्हें अब तय करना होगा। एक बार स्कीमा तय हो जाने और डेटा निकालने के बाद, इसे स्कीमा-विशिष्ट तरीके से साफ किया जाना चाहिए। एक स्कीमा/विश्लेषण के लिए अमान्य डेटा दूसरे के लिए पूरी तरह से मान्य हो सकता है।
एक बार ये सभी चरण पूरे हो जाने के बाद, हम उस बिंदु पर हैं जहां हमारे डेटा एनालिटिक्स टूल्स, BI सिस्टम, या ML मॉडल अपना काम शुरू कर सकते हैं। हालांकि, डेटा लेक का लाभ उठाकर, हमने अनजाने में डेटा में पाए जाने वाले संभावित भविष्य के मूल्य को नष्ट नहीं किया है। भविष्य के व्यावसायिक प्रश्नों का पता लगाया जा सकता है बिना हमें भविष्य जानने की आवश्यकता के।
सारांश
जहां डेटा वेयरहाउस फ़िल्टर्ड, तैयार, और उपयोग के लिए तैयार होते हैं, वहीं डेटा लेक्स भंडार हैं, जिन्हें उनके कच्चे रूप में उपभोग करने का इरादा नहीं है। इसके बजाय, उनमें डेटा को उपभोग करने से पहले तैयार किया जाना चाहिए। किसी भी भंडार की तरह, उन्हें भविष्य की खपत के लिए उपलब्ध रखने के लिए ठीक से प्रबंधित किया जाना चाहिए। यह इनफ्लो को प्रबंधित करके (स्टोरेज फ़ाइल प्रारूप और डेटा ऑबफस्केशन), सामग्री को समझकर (इंडेक्सिंग और डिडुप्लीकेशन), दुरुपयोग से सुरक्षित करके (पहचान और एक्सेस प्रबंधन), और शुद्धिकरण सुविधाओं (डेटा निष्कर्षण, स्कीमा अनुप्रयोग, और डेटा सफाई) के माध्यम से किया जाता है।
हिमशैल का सिरा
सौभाग्य से, क्लाउड युग में, हमें डेटा लेक को लागू करने के लिए अपने स्वयं के टूल्स और प्रौद्योगिकियों को रोल करने की आवश्यकता नहीं है। उदाहरण के लिए, AWS लेक फॉर्मेशन डेटा लेक से सीधे जुड़े टूल्स और प्रौद्योगिकी मुद्दों को संबोधित करता है। हालांकि, कई कठिन प्रश्न शेष हैं। क्या आप जानते हैं कि इन उपकरणों का सही उपयोग कैसे करें? क्या आपके पास अपने डेटा के अंतर्ग्रहण की अनुमति देने के लिए उचित नेटवर्क कनेक्टिविटी सेट अप करने की विशेषज्ञता है? क्या VPN पर्याप्त है, या आपको एक समर्पित सर्किट (डायरेक्ट कनेक्ट) की आवश्यकता है? आप कंपनी डेटा की एक सोने की खान को क्लाउड में डाल रहे हैं। क्या आप निश्चित हैं कि आपने अनधिकृत पहुंच को रोकने के लिए इसे ठीक से सुरक्षित किया है? क्या आप डेटा को लागत-कुशल तरीके से एक्सेस कर रहे हैं? याद रखें, ट्रांसफर आउट मुफ्त नहीं है।
Rackspace में, हमारे पास क्लाउड आर्किटेक्ट्स और विशेषज्ञता है जो आपको अपना डेटा लेक जल्दी, सुरक्षित रूप से, और कुशलतापूर्वक चालू करने में मदद कर सकते हैं। हमें कॉल करें या अधिक जानकारी के लिए Rackspace Managed AWS पर जाएं।
