बिग डेटा के 'V': परिभाषित विशेषताएं और चुनौतियों पर काबू पाना

हर कोई बिग डेटा को 3 या 4 या 10 V के एक सेट के साथ परिभाषित करता है। क्या ये V वास्तव में हमें बिग डेटा अवधारणा की परिभाषा दे रहे हैं या यह कुछ और है जो वे हमें बताने की कोशिश कर रहे हैं? इस V-आधारित लक्षण वर्णन का उपयोग करने का मुख्य कारण उन चुनौतियों को उजागर करना है जो इस बिग डेटा के साथ पैक होकर आती हैं। चुनौतियां जैसे - कैप्चरिंग, क्लीनिंग, क्यूरेशन, इंटीग्रेशन, स्टोरेज, प्रोसेसिंग और बहुत कुछ।

ये V संभावित चुनौतियों के लिए खुद को तैयार करने के लिए दिशा दे रहे हैं। चुनौतियां जो आपके रास्ते आ सकती हैं जब आप अपने बिग डेटा को प्रबंधित करना शुरू करेंगे जो:

1. बड़े आयतन में वृद्धि होती है
2. बड़े वेग से बढ़ता है
3. बड़ी विविधता उत्पन्न करता है
4. बड़ी परिवर्तनशीलता के साथ बदलता है
5. बड़ी सत्यता बनाए रखने के लिए प्रक्रिया की आवश्यकता होती है
6. ट्रांसफॉर्म करने पर बड़ा विज़ुअलाइज़ेशन देता है
7. बड़े छिपे मूल्य होते हैं

ये V बिग डेटा के महत्वपूर्ण पहलुओं और एक बिग डेटा रणनीति को समझाते हैं जिसे संगठन अनदेखा नहीं कर सकते। आइए बिग डेटा के विभिन्न गुणों में योगदान देने वाले सभी V को देखें:

1. आयतन (Volume):

फेसबुक पर रोजाना 100 टेराबाइट डेटा अपलोड किया जाता है; अकामाई ऑनलाइन विज्ञापनों को लक्षित करने के लिए प्रति दिन 75 मिलियन घटनाओं का विश्लेषण करता है; वॉलमार्ट हर घंटे 1 मिलियन ग्राहक लेनदेन संभालता है। अब तक बनाए गए सभी डेटा का 90% पिछले 2 वर्षों में उत्पन्न हुआ था।

उपरोक्त आंकड़े वास्तव में दर्शाते हैं कि जब हम डेटा के बड़े आयतन की बात करते हैं तो इसका क्या अर्थ है। यह डेटा की पहली विशेषता है जो इसे बिग डेटा बनाती है। डेटा का यह विशाल आयतन बदले में हमें इस डेटा को संग्रहीत करने की चुनौती देता है।

2. वेग (Velocity):

1999 में, हर मिनट हर दिन, हम यूट्यूब पर 100 घंटे का वीडियो अपलोड करते हैं, 200 मिलियन से अधिक ईमेल भेजते हैं और 300,000 ट्वीट भेजते हैं।

आयतन संख्या के अंतर्निहित एक और भी बड़ा चलन है, जो यह है कि मौजूदा डेटा का 90% सिर्फ पिछले दो वर्षों में बनाया गया है। यह उस वेग या गति को दर्शाता है जिस पर डेटा बनाया, संग्रहीत, विश्लेषण और विज़ुअलाइज़ किया जा रहा है।

संगठनों की चुनौती डेटा के निर्माण और वास्तविक समय में उपयोग की भारी गति से निपटना है।

3. विविधता (Variety)

अतीत में, बनाया गया सारा डेटा संरचित डेटा था, यह बड़े करीने से कॉलम और पंक्तियों में फिट होता था लेकिन वे दिन खत्म हो गए हैं। आज उत्पन्न 90% डेटा असंरचित है, सभी आकार और रूपों में आ रहा है - भू-स्थानिक डेटा से, ट्वीट्स तक जिनका सामग्री और भावना के लिए विश्लेषण किया जा सकता है, दृश्य डेटा के रूप में फोटो और वीडियो तक।

विविधता बिग डेटा की सबसे बड़ी चुनौतियों में से एक का वर्णन करती है। यह असंरचित हो सकता है और इसमें XML से वीडियो से SMS तक कई अलग-अलग प्रकार के डेटा शामिल हो सकते हैं। डेटा को एक सार्थक तरीके से व्यवस्थित करना कोई सरल कार्य नहीं है, खासकर जब डेटा स्वयं तेजी से बदलता है।

4. परिवर्तनशीलता (Variability)

परिवर्तनशीलता को अक्सर विविधता के साथ भ्रमित किया जाता है। इसे अलग करने का एक सरल उदाहरण है: स्टारबक्स के बारे में सोचें - इसमें कोल्ड कॉफी में इतने सारे फ्लेवर हैं। यह विविधता है। मान लीजिए आप हर दिन कैफे मोचा खरीदते हैं और यह हर पिछले दिन से थोड़ा अलग स्वाद और गंध देता है। यह परिवर्तनशीलता है।

बिग डेटा के संदर्भ में परिवर्तनशीलता कुछ अलग चीजों को संदर्भित करती है। एक है डेटा में असंगतियों की संख्या। किसी भी सार्थक विश्लेषण के लिए इन्हें विसंगति और आउटलेयर पहचान विधियों द्वारा खोजने की आवश्यकता है। बिग डेटा कई असमान डेटा प्रकारों और स्रोतों से परिणामस्वरूप डेटा आयामों की भीड़ के कारण भी परिवर्तनशील है। परिवर्तनशीलता उस असंगत गति को भी संदर्भित कर सकती है जिस पर बिग डेटा आपके डेटाबेस में लोड होता है।

5. सत्यता (Veracity)

बिग डेटा को समझने के लिए क्या महत्वपूर्ण है, यह इसकी गन्दी, शोर भरी प्रकृति है, और किसी भी विश्लेषण से पहले एक सटीक डेटासेट बनाने में कितना काम जाता है। यह बेकार है अगर विश्लेषण किए जा रहे डेटा गलत या अधूरे हैं।

यह स्थिति तब उत्पन्न होती है जब डेटा स्ट्रीम विविध स्रोतों से उत्पन्न होती हैं जो अलग-अलग सिग्नल-टू-नॉइज़ अनुपात के साथ विभिन्न प्रारूपों को प्रस्तुत करती हैं। जब तक यह बिग डेटा एनालिटिक्स के लिए पहुंचता है तब तक इसमें संचित त्रुटियां हो सकती हैं।

सत्यता यह सुनिश्चित करने के बारे में है कि डेटा सटीक है, जिसके लिए आपके सिस्टम में खराब डेटा को जमा होने से रोकने के लिए प्रक्रियाओं की आवश्यकता होती है। सबसे सरल उदाहरण संपर्क हैं जो झूठे नामों और गलत संपर्क जानकारी के साथ आपके मार्केटिंग ऑटोमेशन सिस्टम में प्रवेश करते हैं। आपने अपने डेटाबेस में मिकी माउस को कितनी बार देखा है? यह क्लासिक "कचरा अंदर, कचरा बाहर" चुनौती है।

6. विज़ुअलाइज़ेशन (Visualization)

यह बिग डेटा का कठिन हिस्सा है, इसमें विफल होने पर डेटा का यह विशाल आयतन बेकार हो जाता है। किसी भी बिग डेटा प्रोसेसिंग सिस्टम के लिए एक मुख्य कार्य इसके विशाल पैमाने को कुछ आसानी से समझने योग्य और कार्रवाई योग्य में बदलना है। मानव उपभोग के लिए, इसके लिए सबसे अच्छे तरीकों में से एक इसे ग्राफिकल प्रारूप में बदलना है।

वर्तमान बिग डेटा विज़ुअलाइज़ेशन टूल इन-मेमोरी तकनीक की सीमाओं और खराब स्केलेबिलिटी, कार्यक्षमता और प्रतिक्रिया समय के कारण तकनीकी चुनौतियों का सामना करते हैं। पारंपरिक ग्राफ़ एक अरब डेटा पॉइंट प्लॉट करने की आवश्यकता को पूरा नहीं कर सकते, इसलिए आपको डेटा को दर्शाने के विभिन्न तरीकों की आवश्यकता है जैसे डेटा क्लस्टरिंग या ट्री मैप्स, सनबर्स्ट, समानांतर निर्देशांक, गोलाकार नेटवर्क आरेख या कोन ट्री का उपयोग करना।

7. मूल्य (Value)

मूल्य अंतिम खेल है। बिग डेटा की संभावित मूल्य बहुत बड़ा है। आयतन, वेग, विविधता, परिवर्तनशीलता, सत्यता और विज़ुअलाइज़ेशन का ख्याल रखने के बाद - जिसमें बहुत समय और प्रयास लगता है - यह सुनिश्चित करना महत्वपूर्ण है कि आपका संगठन डेटा से मूल्य प्राप्त कर रहा है।

बेशक, डेटा अपने आप में बिल्कुल भी मूल्यवान नहीं है। मूल्य उस डेटा पर किए गए विश्लेषण में है और कैसे डेटा को जानकारी में बदला जाता है और अंततः इसे ज्ञान में बदल दिया जाता है।

उपरोक्त 7 V आपको बिग डेटा के 3 महत्वपूर्ण पहलुओं यानी परिभाषा, विशेषताओं और चुनौतियों के बारे में बताते हैं। लेकिन जब लोगों ने उपरोक्त 7 V चुनौतियों का सामना करने के लिए विधियों का आविष्कार करने के लिए बिग डेटा पर शोध करना शुरू किया तो वे कुछ अन्य V के पार आए। हालांकि वे बिग डेटा में उतनी महत्वपूर्ण भूमिका नहीं निभाते लेकिन विशेषताओं और चुनौतियों की सूची को पूरा करते हैं।

8. वैधता (Validity)

सत्यता के समान, वैधता इस बात को संदर्भित करती है कि डेटा अपने इच्छित उपयोग के लिए कितना सटीक और सही है। बिग डेटा सत्यता वैधता का मामला है, जिसका अर्थ है कि डेटा इच्छित उपयोग के लिए सही और सटीक है। स्पष्ट रूप से वैध डेटा सही निर्णय लेने की कुंजी है। डेटा सत्यापन वह है जो डेटा के असंदिग्ध संचरण को प्रमाणित करता है।

9. व्यवहार्यता (Viability)

नीचे दिए गए कथनों पर विचार करें:

1. खरीद व्यवहार पर दिन के समय या सप्ताह के दिन का क्या प्रभाव पड़ता है?
2. क्या ट्विटर या फेसबुक उल्लेखों में वृद्धि खरीद में वृद्धि या कमी का पूर्वाभास देती है?
3. भू-स्थान, उत्पाद उपलब्धता, दिन का समय, खरीद इतिहास, आयु, परिवार का आकार, क्रेडिट सीमा, और वाहन प्रकार सभी कैसे एक उपभोक्ता की खरीद प्रवृत्ति का अनुमान लगाने के लिए अभिसरण करते हैं?

हमारा पहला कार्य उस डेटा की व्यवहार्यता का आकलन करना है क्योंकि, डेटा की इतनी विविधता और एक प्रभावी भविष्यवाणी मॉडल बनाने में विचार करने के लिए इतने सारे चरों के साथ, हम एक विशेष चर की प्रासंगिकता को जल्दी और लागत-प्रभावी ढंग से परीक्षण और पुष्टि करना चाहते हैं इससे पहले कि हम पूरी तरह से चित्रित मॉडल के निर्माण में निवेश करें। दूसरे शब्दों में, हम आगे की कार्रवाई करने से पहले उस परिकल्पना को मान्य करना चाहते हैं और, एक चर की व्यवहार्यता निर्धारित करने की प्रक्रिया में, हम अपने विचार का विस्तार यह निर्धारित करने के लिए कर सकते हैं कि क्या अन्य चर - जो हमारी प्रारंभिक परिकल्पना का हिस्सा नहीं थे - हमारे वांछित या देखे गए परिणामों पर सार्थक प्रभाव डालते हैं।

10. अस्थिरता (Volatility)

आपके डेटा को कितना पुराना होना चाहिए इससे पहले कि इसे अप्रासंगिक, ऐतिहासिक, या अब उपयोगी न माना जाए? डेटा को कब तक रखने की आवश्यकता है?

जब हम बिग डेटा की अस्थिरता के बारे में बात करते हैं, तो हम आसानी से संरचित डेटा की प्रतिधारण नीति को याद कर सकते हैं जिसे हम हर दिन अपने व्यवसायों में लागू करते हैं। एक बार प्रतिधारण अवधि समाप्त होने पर, हम इसे आसानी से नष्ट कर सकते हैं।

हालांकि, बिग डेटा के वेग और आयतन के कारण, इसकी अस्थिरता पर सावधानीपूर्वक विचार करने की आवश्यकता है। अब आपको डेटा मुद्रा और उपलब्धता के लिए नियम स्थापित करने की आवश्यकता है साथ ही आवश्यकता पड़ने पर सूचना की तेजी से पुनर्प्राप्ति सुनिश्चित करने की आवश्यकता है।

11. भेद्यता (Vulnerability)

क्या आपको 2015 में एशले मैडिसन हैक याद है? या क्या आपको मई 2016 में CRN की रिपोर्ट याद है "पीक नामक एक हैकर ने डार्क वेब पर बेचने के लिए डेटा पोस्ट किया, जिसमें कथित तौर पर 167 मिलियन लिंक्डइन खातों और 360 मिलियन माईस्पेस उपयोगकर्ताओं के ईमेल और पासवर्ड शामिल थे।

बिग डेटा अपने साथ नई सुरक्षा चिंताएं लाता है। विशेष रूप से इन विशेषताओं के साथ बिग डेटा के लिए एक सुरक्षा कार्यक्रम विकसित करना एक चुनौती बन जाता है। आखिरकार, एक डेटा उल्लंघन एक बड़ा उल्लंघन है।

तो यह सब हमें बिग डेटा की प्रकृति के बारे में क्या बताता है? खैर, यह विशाल और तेजी से विस्तार करने वाला है, लेकिन यह शोर भरा, गन्दा, लगातार बदलने वाला, सैकड़ों प्रारूपों में और विश्लेषण और विज़ुअलाइज़ेशन के बिना वस्तुतः बेकार है।

आयतन, वेग और विविधता बिग डेटा के केवल प्रमुख पैरामीटर नहीं हैं, बल्कि वे बिग डेटा की अवधारणा को जन्म देने का कारण भी हैं और सामान्य डेटा और बिग डेटा के बीच प्रमुख अलग करने वाली विशेषताएं हैं। हालांकि वे बिग डेटा के लिए आंतरिक हैं, अन्य V परिवर्तनशीलता, सत्यता, विज़ुअलाइज़ेशन और मूल्य महत्वपूर्ण विशेषताएं हैं जो बिग डेटा की विशाल जटिलता को दर्शाती हैं जो इसे संसाधित, विश्लेषण और इससे लाभ उठाने वालों के सामने प्रस्तुत करती है।

निर्विवाद रूप से, बिग डेटा एक प्रमुख प्रवृत्ति है जिसे कॉर्पोरेट IT को उचित कंप्यूटिंग बुनियादी ढांचे के साथ समायोजित करना होगा। लेकिन उच्च-प्रदर्शन विश्लेषण और डेटा वैज्ञानिकों के बिना इसका अर्थ समझने के लिए, आप केवल बिग कॉस्ट बनाने का जोखिम उठाते हैं बिना उस मूल्य को बनाए जो व्यावसायिक लाभ में तब्दील होता है।