PolyBase के साथ एकीकृत डेटा प्लेटफॉर्म: डेटा वर्चुअलाइज़ेशन मूलभूत - भाग 1

मैं अंततः अपने पहले के ब्लॉग पोस्ट Unified Data Platform - SQL 2019 पर निर्माण करने के लिए उत्साहित हूं।

इस श्रृंखला में, मैं गहराई से पता लगाता हूं कि PolyBase® के माध्यम से डेटा वर्चुअलाइज़ेशन कैसे प्राप्त करें। यह पोस्ट परिचय और डेमो पूर्वापेक्षाओं को कवर करता है, और भाग दो डेमो तक पहुंचता है।

सारांश

आपकी याददाश्त ताज़ा करने के लिए, याद करें कि पिछली पोस्ट में निम्नलिखित आइटम शामिल थे:

1. SQL Server® का DB Engine से Unified Data Platform तक विकास
2. SQL 2019 निम्न का उपयोग करके Unified Data Platform प्रस्तुत करता है:
   • OLTP के लिए SQL DB Engine
   • Polybase के माध्यम से डेटा वर्चुअलाइज़ेशन
   • कॉलम्नर स्टोर के माध्यम से डेटा मार्ट
   • HDFS के माध्यम से डेटा लेक
   • Apache Spark के माध्यम से बिग डेटा, ML, स्ट्रीमिंग
3. Azure® Data Studio (ADS) का उपयोग करके प्रबंधन और निगरानी

परिचय

डेटा सर्वव्यापी होने के साथ, हम लगातार इसे किसी अन्य स्थान पर ले जाने या कॉपी करने की चुनौतियों का सामना करते हैं ताकि इसे आगे प्रोसेस किया जा सके। एक छोटे डेटा सेट के साथ, यह काफी आसान है, लेकिन लगातार बढ़ते डेटा आकार के साथ यह एक समस्या हो सकती है। साथ ही, संगठनों द्वारा डेटा माइनिंग के प्रगतिशील वृद्धि के साथ, डेटा लीडर डेटा को एक स्थान पर रखने की वकालत नहीं करते हैं। इसी तरह, संरचित और असंरचित डेटा और बिग डेटा के विभिन्न डेटा स्टोर से डेटा लाना या उपयोग करना थकाऊ हो सकता है।

डेटा वर्चुअलाइज़ेशन इस समस्या का समाधान है।

डेटा वर्चुअलाइज़ेशन क्या है?

डेटा वर्चुअलाइज़ेशन डेटा प्रबंधन का एक दृष्टिकोण है जो एप्लिकेशन को डेटा के बारे में तकनीकी विवरण की आवश्यकता के बिना डेटा को पुनः प्राप्त और हेरफेर करने में सक्षम बनाता है, जैसे कि यह स्रोत पर कैसे स्वरूपित है या भौतिक रूप से स्थित है। यह समग्र डेटा का एकल ग्राहक दृश्य प्रदान कर सकता है।

बाजार में बहुत सारे डेटा वर्चुअलाइज़ेशन उपकरण मौजूद हैं, जैसे:

• Microsoft® Polybase®
• Actifio® Virtual Data Pipe (VDP)
• Informatica® Powercenter
• IBM® Cloud Pak for Data
• RedHat® JBoss Data Virtualization

इस श्रृंखला के लिए, मैं PolyBase पर ध्यान केंद्रित करता हूं, जिसे Microsoft ने SQL 2016 में पेश किया था और प्रत्येक बाद के SQL संस्करण के साथ सुधार किया है।

Polybase SQL Server को Azure® Blob, Hadoop®, Oracle®, MongoDB®, आदि जैसे बाहरी डेटा स्रोतों पर Transact-SQL क्वेरी चलाने में सक्षम बनाता है। बाहरी डेटा को प्रोसेस करने के लिए उपयोग किया जाने वाला वही Transact-SQL रिलेशनल डेटाबेस पर भी चल सकता है। यह क्षमता बाहरी स्रोतों से डेटा को आपके डेटाबेस में रिलेशनल डेटा के साथ एकीकृत करने में मदद करती है। निम्न छवि SQL Polybase का एक सरल चित्रण दिखाती है:

चित्र 1

अब जब आप Polybase की मूल बातें जानते हैं, तो मैं एक डेमो साझा करना चाहता हूं जो SQL PolyBase का उपयोग करके Azure Blob बाहरी स्रोत से डेटा लाता है। यह पोस्ट डेमो के लिए पूर्वापेक्षाओं को कवर करता है।

डेमो पूर्वापेक्षाएँ

डेमो चलाने से पहले, आपको निम्नलिखित पूर्वापेक्षा कार्य करने होंगे:

1. PolyBase सुविधा के साथ SQL 2016 या बाद का संस्करण इंस्टॉल करें।
2. SQL Server पर PolyBase सक्षम करें।
3. Azure Storage खाता बनाएं।
4. Azure Blob कंटेनर बनाएं।
5. Blob कंटेनर में एक डेटा फ़ाइल रखें।

1. SQL Polybase इंस्टॉल करें

आप Polybase को एक मशीन पर केवल एक SQL इंस्टेंस के साथ इंस्टॉल कर सकते हैं।

वर्तमान में, मेरे स्थानीय मशीन पर एक डिफ़ॉल्ट SQL 2019 इंस्टेंस चल रहा है। हालांकि, मैंने इंस्टॉलेशन के दौरान Polybase का चयन नहीं किया था। निम्न छवि SQL Server Configuration Manager दिखाती है:

चित्र 2

मुझे SQL सेटअप को फिर से चलाना पड़ा और फीचर चयन विंडो के दौरान निम्नलिखित तत्वों का चयन करके Polybase इंस्टॉल करना पड़ा:

• बाहरी डेटा के लिए PolyBase Query Service
• HDFS डेटा स्रोतों के लिए Java Connector

आगे बढ़ें और SQL Setup चलाएं और PolyBase सुविधा इंस्टॉल करने के लिए निम्नलिखित चरण करें। बहुत अंतिम स्क्रीन तक पहुंचने तक Next पर क्लिक करते रहें। फिर, गहरे लाल रंग में हाइलाइट किए गए टैब का चयन करके Finish Installation टैब पर क्लिक करें।

1. साइडबार में Installation पर क्लिक करें और New SQL Server Stand-alone installation or add features to an existing installation चुनें।

चित्र 3

2. Installation Type विंडो पर पहुंचने के बाद, Add features to an existing instance चुनें, और ड्रॉप-डाउन मेनू से आवश्यक इंस्टेंस चुनें।

चित्र 4

3. Feature Selection विंडो पर पहुंचने के बाद, PolyBase सुविधाओं का चयन करें।

चित्र 5

4. Polybase Configuration विंडो में, Use this SQL Server as standalone Polybase-enabled instance चुनें।

चित्र 6

5. बाकी साइडबार विकल्पों के लिए, डिफ़ॉल्ट चुनें और Install पर क्लिक करें। इंस्टॉलेशन पूरा होने के बाद, निम्न विंडो प्रदर्शित होती है:

चित्र 7

इस बिंदु पर, आप SQL कॉन्फ़िगरेशन मैनेजर में देख सकते हैं कि हमारे पास दो और सुविधाएं इंस्टॉल हैं। हालांकि, Polybase इंस्टॉल करने के बाद सर्वर को पुनः आरंभ करने तक SSMS में Polybase not installed त्रुटि संदेश मिल सकता है। इसे ठीक करने के लिए, Polybase इंस्टॉल करने के बाद सर्वर को पुनः आरंभ करें।

चित्र 8

2. SQL Polybase सक्षम करें

PolyBase सक्षम करने के लिए, निम्न चरण चलाएं:

1. SSMS में SQL Server से कनेक्ट करें और Polybase के सफलतापूर्वक इंस्टॉल होने की पुष्टि करने के लिए निम्न क्वेरी चलाएं।

    SELECT SERVERPROPERTY ('IsPolyBaseInstalled') AS IsSuccessfullyInstalled; 

   निम्न छवि सफल इंस्टॉलेशन के लिए आउटपुट दिखाती है:

चित्र 9

2. निम्न क्वेरी चलाकर Polybase सक्षम करें:

    EXEC sp_configure 'polybase enabled', 1; Go 

3. निम्न क्वेरी चलाएं:

    Reconfigure 

   यह क्वेरी महत्वपूर्ण है। इस चरण के बिना, इस श्रृंखला के भाग तीन में शामिल चरणों के दौरान बाहरी फ़ाइल प्रारूप निर्माण में त्रुटियां दिखाई दे सकती हैं।

चित्र 10

3. Azure Storage खाता बनाएं

Azure Storage खाता बनाने के लिए निम्नलिखित चरण करें:

1. अपने क्रेडेंशियल्स का उपयोग करके Azure Portal में लॉग इन करें।

2. Azure Storage खाता सेवा खोजें और स्टोरेज खाता बनाने के लिए निम्नलिखित चरण करें। बहुत अंतिम स्क्रीन तक पहुंचने तक Next पर क्लिक करते रहें। फिर, गहरे लाल रंग में हाइलाइट किए गए टैब का चयन करके Review and Create विकल्प पर क्लिक करें।

3. Azure Portal search bar पर, Azure Storage account चुनें और नया स्टोरेज खाता बनाने के लिए + Add पर क्लिक करें।

चित्र 11

4. Basics टैब पर, आवश्यक विवरण दर्ज करें और Next: Networking पर क्लिक करें।

चित्र 12

5. Networking, Data Protection, Advanced, और Tags स्क्रीन के लिए डिफ़ॉल्ट सेटिंग्स रखें।

6. अगला, Review+Create पर क्लिक करें और, सत्यापन सफल होने के बाद, स्टोरेज खाता बनाने के लिए Create Tab पर क्लिक करें, जैसा कि निम्न छवि में दिखाया गया है:

चित्र 13

7. सफल तैनाती पर, Go To Resource पर क्लिक करें, जो आपको बनाए गए स्टोरेज खाते पर ले जाता है।

चित्र 14

4. Azure कंटेनर बनाएं

Azure कंटेनर बनाने के लिए, बनाए गए Azure स्टोरेज खाते पर जाएं, बाएं फलक में Containers पर क्लिक करें, और फिर +Container पर क्लिक करें।

चित्र 15

5. कंटेनर में डेटा फ़ाइल रखें

इस चरण में, एक टेक्स्ट डेटा फ़ाइल बनाएं और इसे कंटेनर पर अपलोड करें।

1. निम्न फ़ाइल के समान एक टेक्स्ट फ़ाइल बनाएं:

चित्र 16

नोट: आप CSV, Excel®, या अन्य बाहरी डेटा स्रोतों का भी उपयोग कर सकते हैं। हालांकि, बाहरी डेटा स्रोत के आधार पर, आपको कुछ अतिरिक्त चरण लेने होंगे। उदाहरण के लिए, CSV या Excel डेटा स्रोतों के लिए, आपको SQL Server पर उचित ड्राइवर इंस्टॉल करने चाहिए और ODBC डेटा स्रोत नाम (DSN) में कनेक्शन गुण जोड़ने चाहिए। आप ODBC DSNs बनाने और कॉन्फ़िगर करने के लिए Microsoft ODBC Data Source Administrator का उपयोग कर सकते हैं।

2. आपके द्वारा बनाए गए कंटेनर, polybasedemocontainer, पर जाएं, Upload पर क्लिक करें, दाएं हाथ की तरफ फोल्डर आइकन पर क्लिक करें, और अपलोड करने के लिए फ़ाइल चुनें।

चित्र 17

अगला चरण

आपने PolyBase डेमो के लिए पूर्वापेक्षाओं को सफलतापूर्वक पूरा कर लिया है। भाग दो डेमो प्रस्तुत करता है।

कोई टिप्पणी करने या प्रश्न पूछने के लिए फीडबैक टैब का उपयोग करें। आप हमारे साथ बातचीत भी शुरू कर सकते हैं।