'बिग डेटा' बहुत बड़े डेटा सेट को संसाधित करने के लिए विशेष तकनीकों और प्रौद्योगिकियों का अनुप्रयोग है। ये डेटा सेट अक्सर इतने बड़े और जटिल होते हैं कि हाथ में मौजूद डेटाबेस प्रबंधन टूल्स का उपयोग करके उन्हें संसाधित करना मुश्किल हो जाता है।
सूचना प्रौद्योगिकी के कट्टरपंथी विकास ने उद्योग में कई पूरक स्थितियों को जन्म दिया है। सबसे लगातार और यकीनन सबसे वर्तमान परिणामों में से एक, बिग डेटा की उपस्थिति है। बिग डेटा शब्द एक कैच-फ्रेज़ था जिसे भारी मात्रा में डेटा की उपस्थिति का वर्णन करने के लिए गढ़ा गया था। इतनी बड़ी मात्रा में डेटा होने का परिणामी प्रभाव डेटा एनालिटिक्स है।
डेटा एनालिटिक्स बिग डेटा को संरचित करने की प्रक्रिया है। बिग डेटा के भीतर, अलग-अलग पैटर्न और सहसंबंध हैं जो डेटा एनालिटिक्स के लिए डेटा की बेहतर गणना की गई विशेषता बनाना संभव बनाते हैं। यह डेटा एनालिटिक्स को सूचना प्रौद्योगिकी के सबसे महत्वपूर्ण भागों में से एक बनाता है।
इसलिए, यहां मैं 26 बिग डेटा एनालिटिक्स तकनीकों को सूचीबद्ध कर रहा हूं। यह सूची किसी भी तरह से संपूर्ण नहीं है।
-
A/B टेस्टिंग
A/B टेस्टिंग एक वेबपेज या ऐप के किस वर्शन की पहचान करने के लिए एक मूल्यांकन उपकरण है जो किसी संगठन या व्यक्ति को व्यावसायिक लक्ष्य को अधिक प्रभावी ढंग से पूरा करने में मदद करता है। यह निर्णय इस बात की तुलना करके लिया जाता है कि किसी चीज का कौन सा वर्शन बेहतर प्रदर्शन करता है। A/B टेस्टिंग का उपयोग आमतौर पर वेब डेवलपमेंट में यह सुनिश्चित करने के लिए किया जाता है कि वेबपेज या पेज घटक में परिवर्तन डेटा द्वारा संचालित हों न कि व्यक्तिगत राय द्वारा।
इसे स्प्लिट टेस्टिंग या बकेट टेस्टिंग भी कहा जाता है।
-
एसोसिएशन रूल लर्निंग
बड़े डेटाबेस में चर के बीच दिलचस्प संबंधों की खोज के लिए तकनीकों का एक सेट, यानी, "एसोसिएशन रूल्स"। इन तकनीकों में संभावित नियमों को उत्पन्न करने और परीक्षण करने के लिए विभिन्न एल्गोरिदम शामिल हैं।
एक अनुप्रयोग मार्केट बास्केट एनालिसिस है, जिसमें एक रिटेलर यह निर्धारित कर सकता है कि कौन से उत्पाद अक्सर एक साथ खरीदे जाते हैं और इस जानकारी का उपयोग मार्केटिंग के लिए कर सकता है। (एक सामान्य रूप से उद्धृत उदाहरण यह खोज है कि कई सुपरमार्केट खरीदार जो नाचोज खरीदते हैं वे बीयर भी खरीदते हैं।)
-
क्लासिफिकेशन ट्री एनालिसिस
सांख्यिकीय वर्गीकरण एक नए अवलोकन से संबंधित श्रेणियों की पहचान करने की एक विधि है। इसके लिए सही ढंग से पहचाने गए अवलोकनों के एक ट्रेनिंग सेट की आवश्यकता होती है - दूसरे शब्दों में ऐतिहासिक डेटा।
सांख्यिकीय वर्गीकरण का उपयोग किया जा रहा है:
- दस्तावेजों को स्वचालित रूप से श्रेणियों में असाइन करने के लिए
- जीवों को समूहों में वर्गीकृत करने के लिए
- ऑनलाइन पाठ्यक्रम लेने वाले छात्रों की प्रोफाइल विकसित करने के लिए
-
क्लस्टर एनालिसिस
वस्तुओं को वर्गीकृत करने के लिए एक सांख्यिकीय विधि जो एक विविध समूह को समान वस्तुओं के छोटे समूहों में विभाजित करती है, जिनकी समानता की विशेषताएं अग्रिम में ज्ञात नहीं होती हैं। क्लस्टर एनालिसिस का एक उदाहरण लक्षित मार्केटिंग के लिए उपभोक्ताओं को सेल्फ-सिमिलर समूहों में विभाजित करना है। डेटा माइनिंग के लिए उपयोग किया जाता है।
-
क्राउडसोर्सिंग
क्राउडसोर्सिंग में, बारीकी यह है कि एक कार्य या नौकरी को आउटसोर्स किया जाता है लेकिन किसी निर्दिष्ट पेशेवर या संगठन को नहीं बल्कि खुले आह्वान के रूप में आम जनता को। क्राउडसोर्सिंग एक तकनीक है जिसे टेक्स्ट मैसेज, सोशल मीडिया अपडेट, ब्लॉग आदि जैसे विभिन्न स्रोतों से डेटा इकट्ठा करने के लिए तैनात किया जा सकता है। यह एक प्रकार का मास कोलैबोरेशन और वेब का उपयोग करने का एक उदाहरण है।
-
डेटा फ्यूजन और डेटा इंटीग्रेशन
एक बहु-स्तरीय प्रक्रिया जो स्थितियों, खतरों और उनके महत्व के परिष्कृत स्थिति, पहचान अनुमानों और पूर्ण और समय पर आकलन को प्राप्त करने के लिए एकल और कई स्रोतों से डेटा और जानकारी के संघ, सहसंबंध, संयोजन से निपटती है।
डेटा फ्यूजन तकनीकें कई सेंसर से डेटा और संबंधित डेटाबेस से संबंधित जानकारी को जोड़ती हैं ताकि एक अकेले सेंसर के उपयोग से प्राप्त की जा सकने वाली तुलना में बेहतर सटीकता और अधिक विशिष्ट निष्कर्ष प्राप्त किए जा सकें।
-
डेटा माइनिंग
डेटा माइनिंग पैटर्न की पहचान करने और संबंध स्थापित करने के लिए डेटा के माध्यम से छंटाई कर रहा है। डेटा माइनिंग को बड़े डेटा वॉल्यूम पर किए जाने वाले सामूहिक डेटा निष्कर्षण तकनीकों के रूप में संदर्भित किया जाता है। डेटा माइनिंग पैरामीटर्स में एसोसिएशन, सीक्वेंस एनालिसिस, क्लासिफिकेशन, क्लस्टरिंग और फोरकास्टिंग शामिल हैं।
अनुप्रयोगों में किसी ऑफ़र का जवाब देने की सबसे अधिक संभावना वाले सेगमेंट को निर्धारित करने के लिए ग्राहक डेटा का खनन, सबसे सफल कर्मचारियों की विशेषताओं की पहचान करने के लिए मानव संसाधन डेटा का खनन, या खरीद व्यवहार को मॉडल करने के लिए मार्केट बास्केट एनालिसिस शामिल हैं।
-
एन्सेम्बल लर्निंग
यह विविध लर्निंग एल्गोरिदम के सेट को एक साथ जोड़कर मॉडल की स्थिरता और प्रेडिक्टिव पावर में सुधार करने की एक कला है। यह एक प्रकार का सुपरवाइज्ड लर्निंग है।
-
जेनेटिक एल्गोरिदम
ऑप्टिमाइज़ेशन तकनीकें जो प्राकृतिक विकास की अवधारणाओं पर आधारित डिजाइन में आनुवंशिक संयोजन, उत्परिवर्तन, और प्राकृतिक चयन जैसी प्रक्रियाओं का उपयोग करती हैं। जेनेटिक एल्गोरिदम ऐसी तकनीकें हैं जिनका उपयोग संभवतः सबसे अधिक देखे जाने वाले वीडियो, टीवी शो और मीडिया के अन्य रूपों की पहचान करने के लिए किया जाता है। एक विकासवादी पैटर्न है जिसे जेनेटिक एल्गोरिदम के उपयोग द्वारा किया जा सकता है। वीडियो और मीडिया एनालिटिक्स जेनेटिक एल्गोरिदम के उपयोग द्वारा किया जा सकता है।
-
मशीन लर्निंग
मशीन लर्निंग एक और तकनीक है जिसका उपयोग डेटा के एक विशिष्ट सेट के संभावित परिणाम को वर्गीकृत और निर्धारित करने के लिए किया जा सकता है। मशीन लर्निंग एक सॉफ़्टवेयर को परिभाषित करता है जो किसी निश्चित घटना सेट के संभावित परिणामों को निर्धारित करने में सक्षम हो। इसलिए यह प्रेडिक्टिव एनालिटिक्स में उपयोग किया जाता है। प्रेडिक्टिव एनालिटिक्स का एक उदाहरण कानूनी मामलों को जीतने की संभावना या कुछ प्रोडक्शन की सफलता है।
-
नेचुरल लैंग्वेज प्रोसेसिंग
कंप्यूटर साइंस (एक क्षेत्र जिसे ऐतिहासिक रूप से "आर्टिफिशियल इंटेलिजेंस" कहा जाता था) की एक उप-विशेषता और भाषा विज्ञान से तकनीकों का एक सेट जो मानव (प्राकृतिक) भाषा का विश्लेषण करने के लिए कंप्यूटर एल्गोरिदम का उपयोग करता है। कई NLP तकनीकें मशीन लर्निंग के प्रकार हैं। NLP का एक अनुप्रयोग सोशल मीडिया पर सेंटीमेंट एनालिसिस का उपयोग करके यह निर्धारित करना है कि संभावित ग्राहक ब्रांडिंग अभियान पर कैसे प्रतिक्रिया दे रहे हैं।
-
न्यूरल नेटवर्क्स
नॉन-लीनियर प्रेडिक्टिव मॉडल जो प्रशिक्षण के माध्यम से सीखते हैं और संरचना में जैविक न्यूरल नेटवर्क से मिलते-जुलते हैं। इनका उपयोग पैटर्न रिकग्निशन और ऑप्टिमाइज़ेशन के लिए किया जा सकता है। कुछ न्यूरल नेटवर्क अनुप्रयोगों में सुपरवाइज्ड लर्निंग शामिल होती है और अन्य में अनसुपरवाइज्ड लर्निंग। अनुप्रयोगों के उदाहरणों में उन उच्च-मूल्य वाले ग्राहकों की पहचान करना शामिल है जो किसी विशेष कंपनी को छोड़ने के जोखिम में हैं और धोखाधड़ी बीमा दावों की पहचान करना।
-
ऑप्टिमाइज़ेशन
जटिल प्रणालियों और प्रक्रियाओं को एक या अधिक उद्देश्य उपायों (जैसे, लागत, गति, या विश्वसनीयता) के अनुसार उनके प्रदर्शन को बेहतर बनाने के लिए पुनः डिज़ाइन करने के लिए उपयोग की जाने वाली संख्यात्मक तकनीकों का एक पोर्टफोलियो। अनुप्रयोगों के उदाहरणों में शेड्यूलिंग, रूटिंग, और फ्लोर लेआउट जैसे परिचालन प्रक्रियाओं में सुधार, और उत्पाद रणनीति, लिंक्ड इन्वेस्टमेंट एनालिसिस, और R&D पोर्टफोलियो रणनीति जैसे रणनीतिक निर्णय लेना शामिल हैं। जेनेटिक एल्गोरिदम एक ऑप्टिमाइज़ेशन तकनीक का एक उदाहरण है।
मेरे अगले ब्लॉग में, मैं शेष 13 बिग डेटा एनालिटिक्स तकनीकों का वर्णन करूंगा।
