मूल रूप से ट्राइकोर द्वारा प्रकाशित: 11 जुलाई, 2017
अपाचे™ हडूप® पर इस दो-भाग श्रृंखला के भाग 1 में, हमने हडूप इकोसिस्टम और हडूप फ्रेमवर्क का परिचय दिया। भाग 2 में, हम हडूप फ्रेमवर्क के अधिक कोर घटकों को कवर करते हैं, जिनमें क्वेरीइंग, बाहरी एकीकरण, डेटा एक्सचेंज, समन्वय और प्रबंधन शामिल हैं। हम एक मॉड्यूल भी पेश करते हैं जो हडूप क्लस्टर की निगरानी करता है।
क्वेरीइंग
इस श्रृंखला के भाग 1 ने अपाचे पिग™ को एक स्क्रिप्टिंग टूल के रूप में पेश किया। पिग लैटिन में लिखित, पिग को निष्पादन योग्य मैपरिड्यूस नौकरियों में अनुवादित किया जाता है। यह कई लाभ प्रदान करता है जिनके बारे में आप भाग 1 में अधिक जान सकते हैं।
हालांकि, कुछ डेवलपर अभी भी SQL पसंद करते हैं। यदि आप ज्ञात चीज़ों के साथ जाना पसंद करते हैं, तो आप हडूप के साथ SQL का उपयोग कर सकते हैं।
हाइव
अपाचे हाइव™ एक वितरित डेटा वेयरहाउस है जो बड़ी मात्रा में डेटा का प्रबंधन और आयोजन करता है। यह वेयरहाउस हडूप डिस्ट्रिब्यूटेड फाइल सिस्टम (HDFS™) के शीर्ष पर बनाया गया है। हाइव क्वेरी भाषा, हाइवक्यूएल, SQL शब्दार्थ पर आधारित है। रनटाइम इंजन डेटा क्वेरी करने के लिए हाइवक्यूएल को मैपरिड्यूस नौकरियों में परिवर्तित करता है।
हाइव निम्नलिखित क्षमताएं प्रदान करता है:
-
बड़ी मात्रा में कच्चे डेटा को रखने के लिए एक स्कीमाटाइज़्ड डेटा स्टोर।
-
HDFS में कच्चे डेटा पर विश्लेषण और क्वेरी निष्पादित करने के लिए एक SQL-जैसा वातावरण।
-
बाहरी रिलेशनल डेटाबेस मैनेजमेंट सिस्टम (RDBMS) एप्लिकेशन के साथ एकीकरण।
निम्न छवि हडूप इकोसिस्टम की आर्किटेक्चर को विज़ुअलाइज़ करती है:
बाहरी एकीकरण
अपाचे फ्लूम™ HDFS में बड़ी मात्रा में लॉग डेटा को कुशलतापूर्वक एकत्र, एकत्रित और स्थानांतरित करने के लिए एक वितरित, विश्वसनीय और उपलब्ध सेवा है। फ्लूम एक स्ट्रीमिंग डेटा फ्लो आर्किटेक्चर का उपयोग करके बड़ी मात्रा में इवेंट डेटा को ट्रांसपोर्ट करता है जो फॉल्ट टॉलरेंट और फेलओवर रिकवरी के लिए तैयार है।
फ्लूम निम्नलिखित क्षमताएं भी प्रदान करता है:
-
नेटवर्क ट्रैफिक, लॉग और ईमेल संदेश जैसे बड़ी मात्रा में इवेंट डेटा ट्रांसपोर्ट करता है।
-
कई स्रोतों से HDFS में डेटा स्ट्रीम करता है।
-
हडूप एप्लिकेशन के लिए विश्वसनीय, रीयल-टाइम डेटा स्ट्रीमिंग की गारंटी देता है।
डेटा एक्सचेंज
अपाचे स्कूप™ को हडूप और रिलेशनल डेटाबेस और एंटरप्राइज़ डेटा वेयरहाउस जैसे बाहरी डेटा स्टोर के बीच बल्क डेटा को कुशलतापूर्वक स्थानांतरित करने के लिए डिज़ाइन किया गया है। स्कूप टेरेदाता डेटाबेस, IBM® नेटेज़ा, Oracle® डेटाबेस, MySQL™, और PostgreSQL® जैसे रिलेशनल डेटाबेस के साथ काम करता है। स्कूप का उपयोग अधिकांश कंपनियों द्वारा किया जाता है जो बिग डेटा एकत्र या विश्लेषण करती हैं।
स्कूप निम्नलिखित कार्यक्षमता प्रदान करता है:
-
डेटाबेस के आधार पर, यह आयातित डेटा के लिए स्कीमा का वर्णन करने की प्रक्रिया को स्वचालित कर सकता है।
-
यह डेटा आयात और निर्यात के लिए मैपरिड्यूस फ्रेमवर्क का उपयोग करता है। यह स्कूप को समानांतर तंत्र और फॉल्ट टॉलरेंस प्रदान करने में सक्षम बनाता है।
-
यह सभी प्रमुख RDBMS डेटाबेस के लिए कनेक्टर प्रदान करता है।
-
यह पूर्ण और इन्क्रीमेंटल लोड, डेटा के समानांतर निर्यात और आयात, और डेटा संपीड़न का समर्थन करता है।
-
यह केरबेरोस सुरक्षा एकीकरण का समर्थन करता है।
समन्वय
अपाचे ज़ूकीपर™ वितरित एप्लिकेशन के लिए एक समन्वय सेवा है जो क्लस्टर में सिंक्रनाइज़ेशन सक्षम करती है। यह एक केंद्रीकृत रिपॉजिटरी प्रदान करता है जहां वितरित एप्लिकेशन डेटा स्टोर और पुनर्प्राप्त कर सकते हैं।
ज़ूकीपर एक प्रशासनिक हडूप टूल है जिसका उपयोग क्लस्टर में नौकरियों को प्रबंधित करने के लिए किया जाता है। कुछ डेवलपर इस टूल को "वॉच गार्ड" कहते हैं क्योंकि एक नोड में डेटा में किसी भी परिवर्तन को अन्य नोड्स को सूचित किया जाता है।
हडूप क्लस्टर का प्रोविजनिंग, प्रबंधन और निगरानी
अपाचे अम्बरी™ अपाचे हडूप क्लस्टर के प्रोविजनिंग, प्रबंधन और निगरानी के लिए एक वेब-आधारित टूल है। इसमें टूल इंस्टॉल करने और प्रबंधन, कॉन्फ़िगरेशन और निगरानी कार्यों को करने के लिए एक बहुत ही सरल लेकिन अत्यधिक इंटरैक्टिव यूजर इंटरफेस है। अम्बरी क्लस्टर स्वास्थ्य की जानकारी देखने के लिए एक डैशबोर्ड प्रदान करता है, जैसे हीट मैप। यह आपको मैपरिड्यूस, पिग, और हाइव एप्लिकेशन को सुविधाओं के साथ देखने में सक्षम बनाता है ताकि आप आसानी से उनके प्रदर्शन विशेषताओं का निदान कर सकें।
अम्बरी निम्नलिखित क्षमताएं भी प्रदान करता है:
-
नोड्स के साथ मास्टर सर्विस मैपिंग।
-
उन सेवाओं को चुनने की क्षमता जिन्हें आप इंस्टॉल करना चाहते हैं।
-
सरल कस्टम स्टैक चयन।
-
एक क्लीनर इंटरफेस।
-
सुव्यवस्थित इंस्टॉलेशन, निगरानी और प्रबंधन।
निष्कर्ष
हडूप उन कंपनियों के लिए एक बहुत प्रभावी समाधान है जो भारी मात्रा में डेटा स्टोर और विश्लेषण करना चाहते हैं। यह वितरित सिस्टम में डेटा प्रबंधन के लिए एक बहुत मांग वाला टूल है। क्योंकि यह ओपन सोर्स है, यह कंपनियों द्वारा उपयोग के लिए मुफ्त उपलब्ध है। हडूप के बारे में अधिक जानने के लिए, अपाचे सॉफ्टवेयर फाउंडेशन की वेबसाइट पर आधिकारिक दस्तावेज देखें।
क्या आपने हडूप का उपयोग किया है? टिप्पणी करने या प्रश्न पूछने के लिए फीडबैक टैब का उपयोग करें।
