PolyBase के साथ डेटा वर्चुअलाइज़ेशन लागू करें: एक चरण-दर-चरण मार्गदर्शिका (भाग 2)

UDP डेटा वर्चुअलाइज़ेशन थ्रू PolyBase श्रृंखला के भाग एक में, मैंने PolyBase का परिचय दिया और इस डेमो के लिए पूर्वापेक्षाएँ प्रदान कीं। इस अंतिम किस्त में, आप डेमो में गोता लगा सकते हैं।

डेमो: Azure Blob से डेटा लाने के लिए SQL Polybase सेट अप करने के चरण

डेमो संचालित करने के लिए निम्नलिखित चरण करें:

1. SQL Server® को ब्लॉब पर रखी बाहरी टेक्स्ट फ़ाइल तक पहुंचने के लिए सेट अप करें

SQL Server को Azure® ब्लॉब पर रखी बाहरी टेक्स्ट फ़ाइल तक पहुंचने की अनुमति देने के लिए, निम्न क्वेरी चलाएं:

EXEC sp_configure @configname = 'hadoop connectivity', @configvalue = 7; Go 

चित्र 1

2. SQL Server डेटाबेस, डेटाबेस मास्टर कुंजी, और क्रेडेंशियल सेट अप करें

अब, आपको या तो मौजूदा डेटाबेस का उपयोग करने की आवश्यकता है या एक नया बनाएं। मैंने इस डेमो के लिए PolybaseTestDB नामक एक नया बनाया।

आपके DB होने के बाद, निम्न क्वेरी का उपयोग करके एक डेटाबेस मास्टर कुंजी और क्रेडेंशियल बनाएं:

CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'Welcome@3452'; USE PolybaseTestDB Go CREATE DATABASE SCOPED CREDENTIAL [Polybasecred] WITH IDENTITY = 'Polybaseaccount', SECRET='qdfAVoBN+yr2rHN796gXFtpfhxKgAW3JDAtSPi0RnWcWgy9YRSwyGQR7BoINTHSgjiorUFTCmZpLTZspCbXesg=='; 

पहले की क्वेरी में, SECRET वह एक्सेस कुंजी है जो आपने पहले बनाए गए स्टोरेज खाते की है। आप इसे निम्न चरणों को करके प्राप्त कर सकते हैं:

1. Azure Portal -> Storage Accounts पर जाएं।
2. अपने स्टोरेज खाते पर क्लिक करें।
3. बाएं फलक में, Access Key चुनें।
4. दाएं फलक पर कुंजियाँ प्रदर्शित होती हैं।
5. कॉपी करें और पहले की क्वेरी में उपयोग करें।

3. आपके द्वारा बनाए गए क्रेडेंशियल का उपयोग करके एक बाहरी डेटा स्रोत बनाएं

बाहरी डेटा स्रोत बनाने के लिए निम्न क्वेरी चलाएं। इसे बनाने के बाद, आप DB बाहरी संसाधनों के तहत बाहरी डेटा स्रोत पा सकते हैं।

CREATE EXTERNAL DATA SOURCE AzureStorage WITH ( TYPE = HADOOP, LOCATION = 'wasbs://polybasedemocontainer@polybasedemo1.blob.core.windows.net', CREDENTIAL = [Polybasecred] ); 

चित्र 2

नोट: Azure Storage Blob, Hadoop® Distributed File System (HDFS) APIs के शीर्ष पर बनाया गया एक एक्सटेंशन है, इसलिए पहले की क्वेरी में TYPE Hadoop है।

4. एक बाहरी फ़ाइल प्रारूप बनाएं

निम्न क्वेरी चलाएं:

CREATE EXTERNAL FILE FORMAT TextFileFormat WITH ( FORMAT_TYPE = DELIMITEDTEXT, FORMAT_OPTIONS (FIELD_TERMINATOR =',',USE_TYPE_DEFAULT = TRUE)) 

चित्र 3

नोट: क्योंकि यह एक कॉमा-सेपरेटेड टेक्स्ट फ़ाइल है, FIELD_TERMINATOR ',' है।

5. एक बाहरी टेबल बनाएं

निम्न क्वेरी चलाएं:

CREATE EXTERNAL TABLE dbo.SQLPolybaseTable ( [Name] varchar(500), [Subject] varchar(500), [Education] varchar(500) ) WITH ( LOCATION='/Data.txt', यह कंटेनर पर अपलोड की गई फ़ाइल का नाम है। DATA_SOURCE=AzureStorage, पिछले चरणों में बनाया गया डेटा स्रोत। FILE_FORMAT=TextFileFormat पिछले चरणों में बनाया गया फ़ाइल प्रारूप नाम। ); 

चित्र 4

6. बाहरी टेबल क्वेरी करें

बाहरी टेबल को क्वेरी करें जैसे आप अपने SQL Server पर किसी अन्य टेबल को क्वेरी करेंगे। परिणाम मान्य करते हैं कि PolyBase हमें बाहरी डेटा लाने में मदद करता है। निम्न क्वेरी चलाएं:

Select * from  

चित्र 5

निष्कर्ष

भविष्य की पोस्ट में, मैं निम्नलिखित अवधारणाओं का गहराई से पता लगाने की योजना बना रहा हूं:

• कॉलम्नर स्टोर के माध्यम से डेटा मार्ट
• HDFS के माध्यम से डेटा लेक
• Apache Spark के माध्यम से बिग डेटा, ML, स्ट्रीमिंग

साथ ही, क्योंकि मुझे इस डेमो के दौरान कुछ समस्याओं का सामना करना पड़ा, मैं उन अनुभवों को आगामी ब्लॉग में समेकित और प्रस्तुत करना चाहूंगा।

बने रहें!

हमारी डेटा सेवाओं के बारे में अधिक जानें।

कोई टिप्पणी करने या प्रश्न पूछने के लिए फीडबैक टैब का उपयोग करें। आप हमारे साथ बातचीत भी शुरू कर सकते हैं।