पॉलीबेस के माध्यम से एकीकृत डेटा प्लेटफॉर्म और डेटा वर्चुअलाइजेशन:भाग एक

मैं अंत में अपने पिछले ब्लॉग पोस्टयूनिफाइड डेटा प्लेटफॉर्म - एसक्यूएल 2019 को बनाने के लिए उत्साहित हूं।

इस श्रृंखला में, मैं पॉलीबेस® के माध्यम से डेटा वर्चुअलाइजेशन प्राप्त करने के तरीके में गहराई से खुदाई करता हूं। इस पोस्ट में परिचय और डेमो पूर्वापेक्षाएँ शामिल हैं, और डेमो के लिए भाग दो प्राप्त होता है।

रिकैप करें

अपनी याददाश्त को ताज़ा करने के लिए, याद रखें कि पिछली पोस्ट में निम्नलिखित आइटम शामिल थे:

1. DB इंजन से एकीकृत डेटा प्लेटफ़ॉर्म तक SQL Server® का विकास
2. एसक्यूएल 2019 यूनिफाइड डेटा प्लेटफॉर्म का उपयोग करते हुए प्रस्तुत करता है:
   • OLTP के लिए SQL DB इंजन
   • पॉलीबेस के माध्यम से डेटा वर्चुअलाइजेशन
   • कॉलमनार स्टोर के माध्यम से डेटा मार्ट
   • एचडीएफएस के माध्यम से डेटा लेक
   • अपाचे स्पार्क के माध्यम से बिग डेटा, एमएल, स्ट्रीमिंग
3. Azure® Data Studio (ADS) का उपयोग करके प्रबंधन और निगरानी

परिचय

डेटा सर्वव्यापी होने के कारण, हम इसे आगे संसाधित करने के लिए इसे किसी अन्य स्थान पर ले जाने या कॉपी करने के लिए लगातार चुनौतियों का सामना करते हैं। एक छोटे डेटा सेट के साथ, यह काफी आसान है, लेकिन यह लगातार बढ़ते डेटा आकार के साथ समस्या हो सकती है। साथ ही, संगठनों द्वारा डेटा माइनिंग की प्रगतिशील वृद्धि के साथ, डेटा लीडर डेटा को एक स्थान पर रखने की वकालत नहीं करते हैं। इसी तरह, संरचित और असंरचित डेटा और बिग डेटा के विभिन्न डेटा स्टोर से डेटा प्राप्त करना या उपयोग करना कठिन हो सकता है।

डेटा वर्चुअलाइजेशन इस समस्या का समाधान है।

डेटा वर्चुअलाइजेशन क्या है?

डेटा वर्चुअलाइजेशन डेटा प्रबंधन के लिए एक दृष्टिकोण है जो किसी एप्लिकेशन को डेटा के बारे में तकनीकी विवरण की आवश्यकता के बिना डेटा को पुनर्प्राप्त करने और हेरफेर करने में सक्षम बनाता है, जैसे कि यह स्रोत पर स्वरूपित है या भौतिक रूप से स्थित है। यह समग्र डेटा का एकल ग्राहक दृश्य प्रदान कर सकता है।

बाजार में बहुत सारे डेटा वर्चुअलाइजेशन टूल मौजूद हैं, जैसे कि निम्नलिखित टूल:

• Microsoft® Polybase®
• Actifio® वर्चुअल डेटा पाइप (VDP)
• Informatica® Powercenter
• डेटा के लिए IBM® क्लाउड पाक
• RedHat® JBoss डेटा वर्चुअलाइजेशन

इस श्रृंखला के लिए, मैं PolyBase पर ध्यान केंद्रित करता हूं, जिसे Microsoft ने SQL 2016 में पेश किया था और प्रत्येक बाद के SQL संस्करण के साथ इसमें सुधार किया है।

Polybase SQL सर्वर को बाहरी डेटा स्रोतों जैसे Azure® Blob, Hadoop®, Oracle®, MongoDB®, आदि पर Transact-SQL क्वेरी चलाने में सक्षम बनाता है। बाहरी डेटा को संसाधित करने के लिए उपयोग किया जाने वाला वही ट्रांजैक्ट-एसक्यूएल रिलेशनल डेटाबेस पर भी चल सकता है। यह क्षमता आपके डेटाबेस में संबंधपरक डेटा के साथ बाहरी स्रोतों से डेटा को एकीकृत करने में मदद करती है। निम्न चित्र SQL Polybase का एक सरल उदाहरण दिखाता है:

चित्र 1

अब जब आप पॉलीबेस की मूल बातें जानते हैं, तो मैं एक डेमो साझा करना चाहता हूं जो SQL पॉलीबेस का उपयोग करके एज़ूर ब्लॉब बाहरी स्रोत से डेटा प्राप्त करता है। इस पोस्ट में डेमो के लिए आवश्यक शर्तें शामिल हैं।

डेमो पूर्वापेक्षाएँ

इससे पहले कि आप डेमो चला सकें, आपको निम्नलिखित आवश्यक कार्य करने होंगे:

1. PolyBase सुविधा के साथ SQL 2016 या बाद का संस्करण स्थापित करें।
2. SQL सर्वर पर PolyBase सक्षम करें।
3. एक Azure संग्रहण खाता बनाएं।
4. एक Azure ब्लॉब कंटेनर बनाएं।
5. ब्लॉब कंटेनर में डेटा फ़ाइल रखें।

1. SQL पॉलीबेस स्थापित करें

आप एक मशीन पर केवल एक SQL इंस्टेंस के साथ Polybase स्थापित कर सकते हैं।

वर्तमान में, मेरे पास मेरी स्थानीय मशीन पर एक डिफ़ॉल्ट SQL 2019 इंस्टेंस चल रहा है। हालाँकि, स्थापना के दौरान Idid Polybase का चयन नहीं किया। निम्न छवि SQL Serverconfiguration प्रबंधक को दिखाती है:

चित्र 2

मुझे SQL सेटअप को फिर से चलाना था और Polybase को स्थापित करने के लिए सुविधा चयन विंडो के दौरान निम्नलिखित तत्वों का चयन करना था:

• बाहरी डेटा के लिए पॉलीबेस क्वेरी सेवा
• HDFS डेटा स्रोतों के लिए Java Connector

आगे बढ़ें और SQL सेटअप चलाएँ और PolyBasefeature को स्थापित करने के लिए निम्न चरणों का पालन करें। अगला clicking क्लिक करते रहें जब तक आप अंतिम स्क्रीन तक नहीं पहुंच जाते। फिर,इंस्टॉलेशन समाप्त करें . क्लिक करें टैब, गहरे लाल रंग में हाइलाइट किए गए टैब का चयन करना।

1. इंस्टॉलेशनक्लिक करें साइडबार में और नया SQL सर्वर स्टैंड-अलोन इंस्टॉलेशन चुनें या मौजूदा इंस्टॉलेशन में सुविधाएं जोड़ें ।

चित्र 3

2. आपके द्वारा स्थापना प्रकार . पर पहुंचने के बाद विंडो में, मौजूदा इंस्टेंस में सुविधाएं जोड़ें select चुनें , और ड्रॉप-डाउन मेनू से आवश्यक इंस्टेंस चुनें।

चित्र 4

3. आपके द्वारा सुविधा चयन पर पहुंचने के बाद विंडो, पॉलीबेस सुविधाओं का चयन करें।

चित्र 5

4. पॉलीबेस कॉन्फ़िगरेशन में विंडो में, इस SQL ​​सर्वर का उपयोग स्टैंडअलोन पॉलीबेस-सक्षम इंस्टेंस के रूप में करें . चुनें ।

चित्र 6

5. बाकी साइडबार विकल्पों के लिए, डिफ़ॉल्ट चुनें और इंस्टॉल करें . पर क्लिक करें . आक्षेप पूर्ण होने के बाद, निम्न विंडो प्रदर्शित होती है:

चित्र 7

इस बिंदु पर, आप SQL कॉन्फ़िगरेशन प्रबंधक में देख सकते हैं कि हमारे पास दो और सुविधाएँ स्थापित हैं। हालाँकि, आपको अभी भी त्रुटि संदेश मिल सकता है SSMS में पॉलीबेस स्थापित नहीं है पॉलीबेस को सक्षम करने का प्रयास करते समय। इसे ठीक करने के लिए, पॉलीबेस स्थापित करने के बाद सर्वर को पुनरारंभ करें।

आकृति 8

2. SQL पॉलीबेस सक्षम करें

PolyBase को सक्षम करने के लिए, निम्न चरणों को चलाएँ:

1. SSMS में SQL सर्वर से कनेक्ट करें और यह पुष्टि करने के लिए निम्न क्वेरी चलाएँ कि Polybase सफलतापूर्वक स्थापित हो गया है।

    SELECT SERVERPROPERTY ('IsPolyBaseInstalled') AS IsSuccessfullyInstalled;
   

   निम्न छवि एक सफल स्थापना के लिए आउटपुट दिखाती है:

चित्र 9

2. निम्नलिखित क्वेरी चलाकर पॉलीबेस सक्षम करें:

    EXEC sp_configure 'polybase enabled', 1;
    Go
   

3. निम्नलिखित क्वेरी चलाएँ:

    Reconfigure
   

   यह प्रश्न महत्वपूर्ण है। इस चरण के बिना, इस श्रृंखला के भाग तीन में शामिल चरणों में बाहरी फ़ाइल स्वरूप निर्माण के दौरान त्रुटियां दिखाई दे सकती हैं।

चित्र 10

3. एक Azure संग्रहण खाता बनाएँ

Azure संग्रहण खाता बनाने के लिए निम्न चरणों का पालन करें:

1. अपने क्रेडेंशियल्स का उपयोग करके Azure पोर्टल में लॉग इन करें।

2. Azure संग्रहण खाता सेवा खोजें और संग्रहण खाता बनाने के लिए निम्न चरणों का पालन करें। अगला clicking क्लिक करते रहें जब तक आप अंतिम स्क्रीन तक नहीं पहुंच जाते। फिर, समीक्षा करें और बनाएं . क्लिक करें विकल्प। गहरे लाल रंग में हाइलाइट किए गए टैब चुनें.

3. Azure पोर्टल खोज बार . पर , Azure संग्रहण खाता . चुनें और + जोड़ें . क्लिक करें नया संग्रहण खाता बनाने के लिए।

चित्र 11

4. बुनियादी बातों . पर टैब में, आवश्यक विवरण दर्ज करें और अगला:नेटवर्किंग . पर क्लिक करें ।

चित्र 12

5. नेटवर्किंग . के लिए डिफ़ॉल्ट सेटिंग रखें , डेटा सुरक्षा , उन्नत , औरटैग स्क्रीन।

6. इसके बाद, समीक्षा+बनाएं click क्लिक करें और, सत्यापन सफल होने के बाद, टैब बनाएं click क्लिक करें संग्रहण खाता बनाने के लिए, जैसा कि निम्न चित्र में दिखाया गया है:

चित्र 13

7. सफल परिनियोजन पर, संसाधन पर जाएं click क्लिक करें , जो आपको बनाए गए संग्रहण खाते में ले जाता है।

चित्र 14

4. Azure कंटेनर बनाएं

Azure कंटेनर बनाने के लिए, बनाए गए Azure संग्रहण खाते पर जाएँ, कंटेनर . पर क्लिक करें बाएँ फलक में, और फिर +कंटेनर . पर क्लिक करें ।

चित्र 15

5. कंटेनर में डेटा फ़ाइल रखें

इस स्तर पर, एक टेक्स्ट डेटा फ़ाइल बनाएं और उसे कंटेनर में अपलोड करें।

1. निम्न फ़ाइल के समान टेक्स्ट फ़ाइल बनाएँ:

चित्र 16

नोट :आप CSV, Excel® या अन्य बाहरी डेटा स्रोतों का भी उपयोग कर सकते हैं। हालांकि, बाहरी डेटा स्रोत के आधार पर, आपको कुछ अतिरिक्त कदम उठाने होंगे। उदाहरण के लिए, सीएसवी या एक्सेल डेटा स्रोतों के लिए, आपको SQL सर्वर पर उचित ड्राइवर स्थापित करना चाहिए और कनेक्शन गुणों को ओडीबीसी डेटा स्रोत नाम (डीएसएन) में जोड़ना चाहिए। आप ODBC DSN बनाने और कॉन्फ़िगर करने के लिए Microsoft ODBCData स्रोत व्यवस्थापक का उपयोग कर सकते हैं।

2. आपके द्वारा बनाए गए कंटेनर पर जाएं, पॉलीबेस्डेमोकंटेनर , अपलोड करें click क्लिक करें , दाईं ओर स्थित फ़ोल्डर आइकन पर क्लिक करें, और अपलोड करने के लिए फ़ाइल का चयन करें।

चित्र 17

अगला चरण

आपने पॉलीबेस डेमो के लिए आवश्यक शर्तें सफलतापूर्वक पूरी कर ली हैं। भाग दो डेमो प्रस्तुत करता है।

कोई टिप्पणी करने या प्रश्न पूछने के लिए प्रतिक्रिया टैब का उपयोग करें। आप हमारे साथ बातचीत भी शुरू कर सकते हैं।