पॉलीबेस के माध्यम से एकीकृत डेटा प्लेटफॉर्म और डेटा वर्चुअलाइजेशन:भाग दो

पॉलीबेस श्रृंखला के माध्यम से इस यूडीपी डेटा वर्चुअलाइजेशन के भाग एक में, मैंने पॉलीबेस की शुरुआत की और इस डेमो के लिए पूर्वापेक्षाएँ प्रदान कीं। इस अंतिम किस्त में, आप डेमो में जा सकते हैं।

डेमो:Azure ब्लॉब से डेटा लाने के लिए SQL Polybase सेट करने के चरण

डेमो आयोजित करने के लिए निम्न चरणों का पालन करें:

1. ब्लॉब पर रखी गई बाहरी टेक्स्ट फ़ाइल तक पहुंचने के लिए SQL Server® सेट करें

SQL सर्वर को Azure® ब्लॉब पर रखी गई बाहरी टेक्स्ट फ़ाइल तक पहुँचने की अनुमति देने के लिए, निम्न क्वेरी चलाएँ:

EXEC sp_configure @configname ='hadoop Connectivity', @configvalue =7;Go 

चित्र 1

2. SQL सर्वर डेटाबेस, डेटाबेस मास्टर कुंजी और क्रेडेंशियल सेट करें

अब, आपको या तो मौजूदा डेटाबेस का उपयोग करना होगा या एक नया डेटाबेस बनाना होगा। मैंने एक नया नाम बनाया PolybaseTestDB इस डेमो के लिए।

आपके पास आपका डीबी होने के बाद, निम्न क्वेरी का उपयोग करके डेटाबेस मास्टर कुंजी और क्रेडेंशियल बनाएं:

पिछली क्वेरी में, गुप्त आपके द्वारा पहले बनाए गए संग्रहण खाते की एक्सेस कुंजी है। आप निम्न चरणों का पालन करके इसे प्राप्त कर सकते हैं:

1. Azure पोर्टल -> संग्रहण खाते पर जाएं ।
2. अपने संग्रहण खाते पर क्लिक करें।
3. बाएं फलक में, पहुंच कुंजी select चुनें ।
4. कुंजी दाएं फलक पर प्रदर्शित होती हैं।
5. प्रतिलिपि बनाएं और पिछली क्वेरी में उनका उपयोग करें।

3. आपके द्वारा बनाए गए क्रेडेंशियल का उपयोग करके एक बाहरी डेटा स्रोत बनाएं

बाहरी डेटा स्रोत बनाने के लिए निम्न क्वेरी चलाएँ। इसे बनाने के बाद, आप डीबी बाहरी संसाधनों के तहत बाहरी डेटा स्रोत ढूंढ सकते हैं।

बाहरी डेटा स्रोत बनाएं AzureStoragewith ( TYPE =HADOOP, LOCATION ='wasbs://[email protected]', CREDENTIAL =[Polybasecred]); 

चित्र 2

नोट: Azure स्टोरेज ब्लॉब Hadoop® DistributedFile System (HDFS) API के शीर्ष पर निर्मित एक एक्सटेंशन है, इसलिए TYPE पिछली क्वेरी में Hadoop है ।

4. एक बाहरी फ़ाइल स्वरूप बनाएँ

निम्नलिखित क्वेरी चलाएँ:

बाहरी फ़ाइल फ़ॉर्मेट बनाएं टेक्स्टफ़ाइलफ़ॉर्मैट के साथ (FORMAT_TYPE =DELIMITEDTEXT,FORMAT_OPTIONS (FIELD_TERMINATOR =',',USE_TYPE_DEFAULT =TRUE))  

चित्र 3

नोट :क्योंकि यह अल्पविराम से अलग की गई टेक्स्ट फ़ाइल है, इसलिए FIELD_TERMINATOR है ',' ।

5. एक बाहरी तालिका बनाएं

निम्नलिखित क्वेरी चलाएँ:

बाहरी तालिका बनाएं dbo.SQLPolybaseTable ( [नाम] varchar(500), [Subject] varchar(500), [Education] varchar(500)) with ( LOCATION='/Data.txt', यह है कंटेनर में अपलोड की गई फ़ाइल का नाम। DATA_SOURCE=AzureStorage, पिछले चरणों में बनाया गया डेटा स्रोत। FILE_FORMAT=TextFileFormat पिछले चरणों में बनाया गया फ़ाइल स्वरूप नाम।); 

चित्र 4

6. बाहरी तालिका को क्वेरी करें

बाहरी तालिका को क्वेरी करें जैसा कि आप अपने SQL सर्वर पर किसी अन्य तालिका में करेंगे। परिणाम पुष्टि करते हैं कि PolyBase हमें बाहरी डेटा लाने में मदद करता है। निम्नलिखित क्वेरी चलाएँ:

  <टेबलनाम> से * चुनें> 

चित्र 5

निष्कर्ष

भविष्य की पोस्टों में, मैं निम्नलिखित अवधारणाओं को गहराई से तलाशने की योजना बना रहा हूं:

• कॉलमनार स्टोर के माध्यम से डेटा मार्ट
• एचडीएफएस के माध्यम से डेटा लेक
• अपाचे स्पार्क के माध्यम से बिग डेटा, एमएल, स्ट्रीमिंग

साथ ही, क्योंकि इस डेमो के दौरान मुझे कुछ समस्याओं का सामना करना पड़ा, मैं उन अनुभवों को एक आगामी ब्लॉग में समेकित और प्रस्तुत करना चाहता हूं।

बने रहें!

हमारी डेटा सेवाओं के बारे में अधिक जानें।

कोई टिप्पणी करने या प्रश्न पूछने के लिए प्रतिक्रिया टैब का उपयोग करें। आप हमारे साथ बातचीत भी शुरू कर सकते हैं।