जब हमने पिछली बार बिग डेटा के बारे में बात की थी, तो हमने विभिन्न बिग डेटा एनालिटिक्स तकनीकों के बारे में बात की थी। उससे पहले हमने बिग डेटा के विभिन्न पहलुओं के बारे में बात की थी। मेरे एक ब्लॉग में, मैंने "बिग डेटा रेफरेंस आर्किटेक्चर लेयर्स की कार्यक्षमताएं" का वर्णन किया था। जैसा कि पहले कहा गया था, उन्हीं पंक्तियों पर जारी रखते हुए, इस ब्लॉग में हम "टॉप 10 ओपन सोर्स डेटा एक्सट्रैक्शन टूल्स" के बारे में चर्चा करेंगे।
बिग डेटा के डेटा एक्सट्रैक्शन टूल्स
बिग डेटा के डेटा एक्सट्रैक्शन टूल्स सभी विभिन्न स्रोतों से डेटा एकत्र करने और इसे संरचित रूप में बदलने में मदद करते हैं। इन टूल्स के लिए अधिक सामान्यतः इस्तेमाल किया जाने वाला शब्द "ETL - एक्सट्रैक्ट ट्रांसफॉर्म एंड लोड" है। इन टूल्स की कार्यक्षमताओं को नीचे वर्णित 3 चरणों में विभाजित किया जा सकता है:
- सजातीय या विषम डेटा स्रोतों से डेटा निकालें
- क्वेरीइंग और विश्लेषण उद्देश्य के लिए उचित प्रारूप या संरचना में संग्रहीत करने के लिए डेटा को ट्रांसफॉर्म करें
- इसे अंतिम लक्ष्य (डेटाबेस, अधिक विशेष रूप से, ऑपरेशनल डेटा स्टोर, डेटा मार्ट, या डेटा वेयरहाउस) में लोड करें
आमतौर पर ETL टूल्स में, सभी तीन चरण समानांतर में निष्पादित होते हैं क्योंकि डेटा निष्कर्षण में समय लगता है, इसलिए जब डेटा खींचा जा रहा होता है तो एक अन्य ट्रांसफॉर्मेशन प्रक्रिया निष्पादित होती है, पहले से प्राप्त डेटा को प्रोसेस करती है और लोडिंग के लिए डेटा तैयार करती है और जैसे ही लोड करने के लिए कुछ डेटा तैयार होता है, डेटा लोडिंग पिछले चरणों के पूरा होने की प्रतीक्षा किए बिना शुरू हो जाती है।
टॉप 10 ओपन सोर्स डेटा एक्सट्रैक्शन या ETL टूल्स
1. टैलेंड ओपन स्टूडियो
टैलेंड ओपनस्टूडियो बाजार में सबसे शक्तिशाली डेटा इंटीग्रेशन ETL टूल्स में से एक है। टैलेंड ओपन स्टूडियो डेटा मैनेजमेंट और एप्लीकेशन इंटीग्रेशन प्रोजेक्ट्स को विकसित करने, परीक्षण करने, तैनात करने और प्रशासित करने के लिए ओपन सोर्स उत्पादों का एक बहुमुखी सेट है।
ETL प्रोजेक्ट्स के लिए, टैलेंड ओपन स्टूडियो फॉर डेटा इंटीग्रेशन डेटा इंटीग्रेशन के लिए कई समाधान प्रदान करता है, दोनों ओपन सोर्स और कमर्शियल संस्करण। टैलेंड एक समृद्ध फीचर सेट प्रदान करता है जिसमें एक सहज इंटीग्रेटेड डेवलपमेंट एनवायरनमेंट शामिल है जिसमें एक सहज Eclipse-आधारित इंटरफेस है। ड्रैग-एंड-ड्रॉप डिजाइन फ्लो, और 400 से अधिक पूर्व-कॉन्फ़िगर किए गए एप्लीकेशन कनेक्टर्स के साथ व्यापक कनेक्टिविटी डेटाबेस, मेनफ्रेम, फाइल सिस्टम, वेब सेवाओं, पैकेज्ड एंटरप्राइज एप्लीकेशन, डेटा वेयरहाउस, OLAP एप्लीकेशन, सॉफ्टवेयर-एज-ए-सर्विस, क्लाउड-आधारित एप्लीकेशन, और अधिक के बीच ब्रिज बनाने के लिए।
2. स्क्रिप्टेला
स्क्रिप्टेला अपाचे द्वारा लॉन्च किया गया एक ओपन सोर्स ETL टूल है, जो एक्सट्रैक्टिंग, ट्रांसफॉर्मिंग और लोडिंग प्रक्रियाओं के कामकाज के साथ-साथ जावा स्क्रिप्टिंग को निष्पादित करने में भी उपयोग किया जाता है। यह उपयोग के लिए एक बहुत ही सरल और आसान टूल है और यह मूल रूप से अपने उपयोग में आसानी के कारण लोकप्रिय है। विशेषताओं में SQL, JavaScript, JEXL, वेलोसिटी में लिखे गए स्क्रिप्ट निष्पादित करना शामिल है। डेटाबेस माइग्रेशन, LDAP, JDBC, XML और अन्य डेटा स्रोतों के साथ इंटरऑपरेबिलिटी। क्रॉस डेटाबेस ETL ऑपरेशन, CSV, टेक्स्ट और XML और अन्य प्रारूपों से/को आयात/निर्यात।
3. KETL
KETL डेटा वेयरहाउसिंग के लिए सर्वश्रेष्ठ ओपन सोर्स टूल्स में से एक है। यह XML और अन्य भाषाओं के साथ जावा-ओरिएंटेड संरचना से बना है। इंजन एक खुले, मल्टी-थ्रेडेड, XML-आधारित आर्किटेक्चर पर बनाया गया है। KETL की प्रमुख विशेषताओं में सुरक्षा और डेटा मैनेजमेंट टूल्स के इंटीग्रेशन के लिए समर्थन, कई सर्वरों और CPUs पर सिद्ध स्केलेबिलिटी और डेटा की किसी भी मात्रा और थर्ड-पार्टी शेड्यूल, डिपेंडेंसी, और नोटिफिकेशन टूल्स के लिए कोई अतिरिक्त आवश्यकता नहीं शामिल है।
4. पेंटाहो डेटा इंटीग्रेटर - केटल
पेंटाहो के अनुसार, यह एक BI प्रदाता है जो डेटा इंटीग्रेशन की क्षमता के रूप में ETL टूल्स प्रदान करता है। ये ETL क्षमताएं केटल प्रोजेक्ट पर आधारित हैं। यह जावा एप्लीकेशन और लाइब्रेरी है। केटल XML प्रारूप में लिखी गई प्रक्रियाओं का एक इंटरप्रेटर है। केटल डेटा मैनिपुलेशन प्रक्रिया को फाइन-ट्यून करने के लिए एक जावा स्क्रिप्ट इंजन प्रदान करता है। केटल एक अच्छा टूल भी है, जिसमें जटिल ETL प्रक्रियाओं के निर्माण के लिए आवश्यक सब कुछ है। केटल XML प्रारूप में लिखी गई ETL प्रक्रियाओं का एक इंटरप्रेटर है।
केटल (PDI) पेंटाहो बिजनेस इंटेलिजेंस सूट में डिफ़ॉल्ट टूल है। प्रक्रियाओं को पेंटाहो प्लेटफॉर्म के बाहर भी निष्पादित किया जा सकता है, बशर्ते कि सभी केटल लाइब्रेरी और जावा इंटरप्रेटर इंस्टॉल हों।
5. जैस्परसॉफ्ट ETL
जैस्परसॉफ्ट ETL तैनात करने में आसान है और कई मालिकाना और ओपन सोर्स ETL सिस्टम से बेहतर प्रदर्शन करता है। इसका उपयोग आपके ट्रांजेक्शनल सिस्टम से डेटा निकालकर रिपोर्टिंग और विश्लेषण के लिए एक समेकित डेटा वेयरहाउस या डेटा मार्ट बनाने के लिए किया जाता है। विशेषताओं में बिजनेस मॉडलर शामिल है जो सूचना वर्कफ्लो का एक गैर-तकनीकी दृश्य एक्सेस करने के लिए, जॉब डिजाइनर के साथ ETL प्रक्रिया को प्रदर्शित और संपादित करने के लिए, एक ग्राफिकल एडिटिंग टूल, ट्रांसफॉर्मेशन मैपर और अन्य ट्रांसफॉर्मेशन घटकों के साथ जटिल मैपिंग और ट्रांसफॉर्मेशन को परिभाषित करने के लिए।
यह ETL आंकड़ों को शुरू से अंत तक रियल-टाइम डिबगिंग के साथ ट्रैक करने की क्षमता भी रखता है, फ्लैट फाइल्स, XML फाइल्स, डेटाबेस, वेब सर्विसेज, POP और FTP सर्वर्स सहित सैकड़ों उपलब्ध कनेक्टर्स के साथ कई स्रोतों से एक साथ आउटपुट और इनपुट की अनुमति देता है और जॉब इवेंट्स, एक्जीक्यूशन टाइम्स, और डेटा वॉल्यूम की निगरानी के लिए एक्टिविटी मॉनिटरिंग कंसोल का उपयोग करता है।
6. जियोकेतल
जियोकेतल सामान्य ETL टूल केटल (पेंटाहो डेटा इंटीग्रेशन) का एक स्थानिक रूप से सक्षम संस्करण है। जियोकेतल एक शक्तिशाली मेटाडेटा-संचालित स्पेशियल ETL टूल है जो विभिन्न स्थानिक डेटा स्रोतों के एकीकरण के लिए समर्पित है ताकि जियोस्पेशियल डेटा वेयरहाउस का निर्माण और अद्यतन किया जा सके।
यह डेटा स्रोतों से डेटा के निष्कर्षण, त्रुटियों को ठीक करने के लिए डेटा के ट्रांसफॉर्मेशन, कुछ डेटा क्लींजिंग करने, डेटा संरचना बदलने, उन्हें परिभाषित मानकों के अनुरूप बनाने, और ट्रांसफॉर्म किए गए डेटा को टारगेट डेटाबेस मैनेजमेंट सिस्टम (DBMS) में OLTP या OLAP/SOLAP मोड, GIS फाइल या जियोस्पेशियल वेब सर्विस में लोड करने में सक्षम बनाता है।
7. क्लोवर ETL
यह प्रोजेक्ट OpenSys द्वारा निर्देशित है, जो चेक गणराज्य में स्थित एक कंपनी है। यह जावा-आधारित, डुअल-लाइसेंस्ड ओपन सोर्स है जो अपने कमर्शियली लाइसेंस्ड संस्करण में वारंटी और सपोर्ट प्रदान करता है। इसकी पेशकश में एक छोटा फुटप्रिंट है जो इसे सिस्टम इंटीग्रेटर्स और ISVs द्वारा एम्बेड करना आसान बनाता है। इसका उद्देश्य मैपिंग और ट्रांसफॉर्मेशन सहित कार्यों की एक बुनियादी लाइब्रेरी बनाना है। इसका एंटरप्राइज सर्वर संस्करण एक कमर्शियल पेशकश है।
8. HPCC सिस्टम्स
HPCC सिस्टम्स बिग डेटा विश्लेषण के लिए एक ओपन-सोर्स प्लेटफॉर्म है जिसमें थोर नामक एक डेटा रिफाइनरी इंजन है। थोर बिग डेटा को साफ, लिंक, ट्रांसफॉर्म और विश्लेषण करता है। थोर ETL (एक्सट्रैक्शन, ट्रांसफॉर्मेशन और लोडिंग) फंक्शन्स को सपोर्ट करता है जैसे अनस्ट्रक्चर्ड/स्ट्रक्चर्ड डेटा को इंजेस्ट करना, डेटा प्रोफाइलिंग, डेटा हाइजीन, और बॉक्स से बाहर डेटा लिंकिंग। थोर द्वारा प्रोसेस्ड डेटा को रॉक्सी का उपयोग करके बड़ी संख्या में उपयोगकर्ताओं द्वारा रियल-टाइम फैशन में समवर्ती रूप से एक्सेस किया जा सकता है, जो एक डेटा डिलीवरी इंजन है। रॉक्सी अत्यधिक समवर्ती और कम विलंबता रियल-टाइम क्वेरी क्षमता प्रदान करता है।
9. जेडॉक्स
जेडॉक्स ओपन सोर्स BI समाधान टूल है। यह विशेष टूल प्रदर्शन प्रबंधन रणनीति योजना, जांच, कवरेज और ETL अवधारणाओं में शामिल प्रक्रियाओं के प्रबंधन के लिए है। ओपन कोर में एक इन-मेमोरी OLAP सर्वर, ETL सर्वर और OLAP क्लाइंट लाइब्रेरी शामिल हैं। जेडॉक्स OLAP सर्वर को स्रोत और लक्ष्य प्रणाली के रूप में शक्तिशाली रूप से समर्थन करते हुए, टूल OLAP जांच में जटिलताओं को दूर करने की क्षमता के साथ तैयार है। किसी भी पारंपरिक मॉडल को इस विशेष ETL टूल के उपयोग द्वारा OLAP मॉडल में बदल दिया जा सकता है।
क्यूब्स और डायमेंशन के साथ काम करना आसान नहीं हो सका। JEDOX ETL के उपयोग द्वारा स्रोत प्रणालियों के रिलेशनल मॉडल को अक्सर आवश्यक समय पदानुक्रम उत्पन्न करें और कुशलतापूर्वक OLAP मॉडल में बदलें।
10. अपातार ETL
अपातार ETL एक ओपन सोर्स पैकेज में बेजोड़ क्षमताओं का एक सेट लाता है। विशेषताओं में Oracle, MS SQL, MySQL, Sybase DB2, MS Access, PostgreSQL, XML, InstantDB, Paradox, BorlandJDataStore, Csv, MS Excel, Qed, HSQL, SalesForce.Com आदि से कनेक्टिविटी शामिल है। सभी इंटीग्रेशन प्रोजेक्ट्स को मैनेज करने के लिए एक सिंगल इंटरफेस, लचीले डिप्लॉयमेंट विकल्प, द्वि-दिशात्मक इंटीग्रेशन, प्लेटफॉर्म-स्वतंत्र, Windows, Linux, Mac से चलता है; 100% जावा-आधारित, कोई कोडिंग नहीं, विजुअल जॉब डिजाइनर और मैपिंग गैर-डेवलपर्स को डिजाइन करने और ट्रांसफॉर्मेशन करने में सक्षम बनाता है।
ओपन सोर्स टूल्स में हमेशा कुछ सीमाएं होती हैं, चाहे वे उन्नत सुविधाओं, स्टोरेज सुविधा, उन्नत विश्लेषणात्मक सुविधाओं और बहुत कुछ के संदर्भ में हों। इसलिए, लाइसेंस प्राप्त टूल्स का उपयोग करना बेहतर सलाह दी जाती है। मेरा अगला ब्लॉग लाइसेंस प्राप्त डेटा एक्सट्रैक्शन टूल्स के बारे में चर्चा करेगा।
