Amazon Elastic Compute Cloud (EC2) अवधारणा का परिचय कुछ क्षणों के लिए देता हूं। Amazon EC2 एक वेब सेवा है जिसे दुनिया भर के उपयोगकर्ताओं को तुरंत आकार बदलने योग्य, स्केलेबल कंप्यूटिंग क्षमता प्रदान करने के लिए डिज़ाइन किया गया है। यह विशाल Amazon फार्मों के भीतर स्थित एक विशाल वर्चुअलाइजेशन ग्रिड है, जो CPU साइकिल और हार्ड डिस्क स्थान प्रदान करता है, जिसे भी उनकी आवश्यकता हो, तुरंत। आपको केवल भुगतान करना है, और वास्तव में इतना नहीं।
वास्तव में उपयोगी होने के लिए, Amazon इस सेवा को बहुत ही किफायती मूल्य टैग के साथ प्रदान करता है, जो आपके अपने बुनियादी ढांचे को खरीदने और बनाए रखने पर खर्च होने वाली राशि के बराबर है। घरेलू उपयोगकर्ताओं के लिए, यह सबसे तत्काल आवश्यकता नहीं लग सकती है, लेकिन लचीली मांगों वाले छोटे से मध्यम व्यवसाय निश्चित रूप से हार्डवेयर-स्वतंत्र स्वतंत्रता की संभावना को पसंद करेंगे।
आप में से कुछ को यह विचार पसंद आएगा, कुछ को नफरत होगी। व्यक्तिगत रूप से, मुझे लगता है कि यह एक शानदार परियोजना है, खासकर जब से Amazon क्लाउड लिनक्स पर आधारित है और मुख्य रूप से लिनक्स का समर्थन करता है, जिससे लिनक्स बाजार के विकास के लिए जबरदस्त अवसर पैदा होता है। मार्क शटलवर्थ को आगामी Ubuntu रिलीज़ में Amazon कार्यक्षमता को शामिल करने के अपने इरादे के लिए काफी आलोचना झेलनी पड़ी, लेकिन मुझे लगता है कि यह एक बुद्धिमान कदम है, क्योंकि डेस्कटॉप और वेब के बीच की जरूरतों का विलय केवल क्लाउड में उपलब्ध "आकाशीय" लचीलेपन की मांग करता है।
घर पर...
घर पर, आपको शायद ही कभी क्लासिक वर्चुअलाइजेशन से अधिक की आवश्यकता होगी। लेकिन जब आपके लिविंग रूम में 16GB RAM वाले अपने डेटाबेस सर्वर की कीमत का सवाल उठेगा, तो आप शायद Amazon EC2 का उपयोग करने पर विचार करना शुरू कर देंगे।
यदि ऐसा कभी होता है, तो आप जानना चाहेंगे कि Amazon EC2 का उपयोग कैसे करें। एक पूर्ण ट्यूटोरियल निश्चित रूप से इस लेख के दायरे से बाहर है; आपके पास उसके लिए आधिकारिक दस्तावेज है।
इसके बजाय, मैं पूरी योजना का केवल एक हिस्सा प्रदर्शित करने जा रहा हूं, हालांकि शायद सबसे महत्वपूर्ण वह जो घरेलू उपयोगकर्ता के सामने आ सकता है - Amazon वर्चुअल मशीन इमेज का निर्माण। मैं आपको दिखाऊंगा कि VMware उत्पादों द्वारा उपयोग की जाने वाली घरेलू वर्चुअल हार्ड डिस्क को Amazon-संगत इमेज में कैसे बदलें जिनका उपयोग आप EC2 के साथ कर सकते हैं।
पहले Amazon इमेज क्यों न बनाएं या मौजूदा बिल्ड का उपयोग क्यों न करें?
अच्छा सवाल! Amazon आपको स्क्रैच से इमेज बनाने या मौजूदा टेम्प्लेट (जैसे SUSE, Ubuntu, RedHat, आदि) को अपने प्रारंभिक बिंदु के रूप में उपयोग करने की अनुमति देता है। हालांकि, इमेज बनाना थोड़ा जटिल है। और मौजूदा टेम्प्लेट का उपयोग करना वह नहीं हो सकता जो आप चाहते हैं। उदाहरण के लिए, आप एक विशेष, कस्टम-कॉन्फ़िगर डिस्ट्रो चलाना चाह सकते हैं या आप एक निजी, डिजिटली-हस्ताक्षरित इमेज का उपयोग करना चाह सकते हैं जो आपके अलावा किसी के लिए उपलब्ध नहीं है। आप पूर्ण नियंत्रण चाहते हैं और आप दूसरों को अपने लिए इमेज बनाने की अनुमति नहीं दे सकते।
उद्देश्य: घर पर इमेज बनाएं, फिर Amazon पर अपलोड करें
मैं इस ट्यूटोरियल को एक बहुत ही विशिष्ट विषय तक सीमित कर रहा हूं, जो मुझे काफी महत्वपूर्ण लगता है। आप एक निजी इमेज चाहते हैं, अपने स्वयं के प्रमाणपत्र के साथ। आप इसे घर पर, आराम से, अपने समय और खर्च पर बनाना चाहते हैं, बैंडविड्थ और कॉन्फ़िगरेशन के लंबे घंटों पर पैसा बर्बाद किए बिना। एक बार यह तैयार हो जाने पर, आप इसे बदलेंगे और Amazon स्टोरेज, जिसे Amazon Simple Storage Service (S3) कहा जाता है, पर अपलोड करेंगे।
नोट: आपके पास इस ट्यूटोरियल के निर्देशों को किसी भी उपयोग में लाने से पहले एक वैध Amazon EC2 खाता होना चाहिए। इसके अलावा, आपको ट्यूटोरियल को सफलतापूर्वक पूरा करने के लिए लिनक्स का उपयोग करना होगा। यहां उपयोग किए जाने वाले कुछ टूल केवल लिनक्स के लिए उपलब्ध हैं - आश्चर्य की बात नहीं, यह देखते हुए कि Amazon लिनक्स पर चलता है।
पहला सवाल: किससे बदलें?
एक और अच्छा सवाल। कई डेस्कटॉप वर्चुअलाइजेशन प्रारूप उपलब्ध हैं। हालांकि, यदि आप घर पर वर्चुअलाइजेशन चलाते हैं, तो एक अच्छा मौका है कि आप VMware उत्पादों में से एक का उपयोग कर रहे हैं। VMware अपनी वर्चुअल हार्ड डिस्क के लिए .vmdk प्रारूप का उपयोग करता है। यह हमारा स्रोत प्रारूप है, जिसे हम Amazon Machine Image (AMI) में बदलना चाहते हैं।
हालांकि, आप VMDK वर्चुअल डिस्क को सीधे AMI में नहीं बदल सकते। आपको यह दिखाने के लिए कि क्या करने की आवश्यकता है, मैंने यह ट्यूटोरियल लिखा है। आइए शुरू करें।
चरण 1: सुनिश्चित करें कि आपके पास वह सब कुछ है जिसकी आपको आवश्यकता है
शुरू करने से पहले, कुछ (काफी कुछ) बहुत महत्वपूर्ण बातों पर विचार करना होगा, इससे पहले कि हम इसे और उसे बदलने की जल्दी करें।
इसके अलावा, पढ़ना शुरू करने से पहले, मुझे आपको यह एहसास कराने की आवश्यकता है कि Amazon EC2 परियोजना अभी अपनी प्रारंभिक अवस्था में है, इसलिए यहां दी गई सिफारिशें भविष्य के सेटअप पर केवल आंशिक रूप से लागू हो सकती हैं - या बिल्कुल नहीं। जबकि मैं आमतौर पर अपने निष्कर्षों को कम नहीं करता, इस विशेष मामले में, बहुत बड़ी संख्या में नाजुक चरों के कारण, मैं इस प्रयास में सफलता की गारंटी नहीं दे सकता। हालांकि, इस छोटी सी स्वीकारोक्ति को आपको निराश न करने दें! मेरा अनुसरण करें।
सामान्य Amazon आवश्यकताएं (VMware की परवाह किए बिना):
Xen आवश्यकताएं
आपको अपने वितरण को Amazon पर बदलने और उपयोग करने से पहले xenify करना होगा। इसका क्या मतलब है? खैर, Amazon वर्चुअल इंफ्रास्ट्रक्चर Xen पर आधारित है, एक ओपन-सोर्स हाइपरवाइजर जो VMware, KVM या अन्य वर्चुअलाइजेशन उत्पादों के समान है। Amazon वर्चुअल मशीनों को इस प्लेटफॉर्म पर चलाने के लिए विशिष्ट कर्नेल और कर्नेल मॉड्यूल की आवश्यकता होती है। आपको उपयुक्त Xen कर्नेल डाउनलोड करना होगा, इसे निकालना होगा, Xen मॉड्यूल इंस्टॉल करना होगा, और GRUB मेनू को अपडेट करना होगा।
अधिक विस्तार से, अपने पसंदीदा वितरण की वेबसाइट / सॉफ़्टवेयर रिपॉजिटरी पर जाएं और प्रासंगिक कर्नेल डाउनलोड करें, जो आपके संस्करण से मेल खाता हो। संग्रह को निकालें और इसमें निहित फ़ाइलों को /boot और /lib में रखें। आपका अगला कदम प्रासंगिक मॉड्यूल फ़ाइलें बनाना है:
depmod -F /boot/System.map-<kernel>-xenU -a <kernel>-xenU
जहां कर्नेल आपके पास मौजूद संस्करण से मेल खाता है (uname -r)।
एक बार यह हो जाने के बाद, जांचें कि मॉड्यूल /lib/modules/<kernel>-xenU डायरेक्टरी के तहत मौजूद हैं। अंत में, GRUB menu.lst कॉन्फ़िगरेशन फ़ाइल को अपडेट करें ताकि इसमें एक Xen कर्नेल प्रविष्टि हो। इस प्रविष्टि (स्टैंजा) को डिफ़ॉल्ट रूप से बूट किया जाना चाहिए। GRUB के बारे में अधिक जानकारी के लिए, कृपया मेरा विस्तृत ट्यूटोरियल देखें।
पार्टीशनिंग आवश्यकताएं
एक और मुश्किल। Amazon वर्चुअल मशीनों में एक बहुत ही विशिष्ट पार्टीशनिंग लेआउट होना चाहिए। आपका /etc/fstab ट्री इस तरह दिखना चाहिए:
/dev/sda1 / ext3 defaults 1 1 none /dev/pts devpts gid=5,mode=620 0 0 none /dev/shm tmpfs defaults 0 0 none /proc proc defaults 0 0 none /sys sysfs defaults 0 0
यदि आप अपने स्वयं के स्वैप और /mnt माउंटपॉइंट का उपयोग कर रहे हैं, तो उन्हें /etc/fstab से हटा दें, क्योंकि Amazon मशीन इंस्टेंस चलाते समय अपने स्वयं का उपयोग करेगा।
सामान्य तौर पर, कृपया AMI बनाने के दस्तावेज़ को पढ़ें कि आपकी वर्चुअल मशीन कैसी दिखनी चाहिए, इसके बारे में कई, गीकी विवरण के लिए। डेटा की भारी बहुतायत से चिंतित न हों, क्योंकि हमारे टेस्ट केस के लिए अधिकांश सामग्री अप्रासंगिक है। आपको कर्नेल मॉड्यूल, पार्टीशनिंग लेआउट और नेटवर्किंग कॉन्फ़िगरेशन पर ध्यान देने की आवश्यकता है।
डिफ़ॉल्ट रनलेवल और सेवाएं
इसके अलावा, वास्तव में अपनी Amazon मशीन से कनेक्ट करने में सक्षम होने के लिए, आपके पास फ़ायरवॉल सेवा या तो अक्षम होनी चाहिए या SSH इनकमिंग कनेक्शन की अनुमति देने के लिए कॉन्फ़िगर किया जाना चाहिए और स्वाभाविक रूप से, SSH सेवा आपके डिफ़ॉल्ट रनलेवल में सक्षम होनी चाहिए। डिफ़ॉल्ट रूप से, SSH TCP पोर्ट 22 का उपयोग करता है।
रनलेवल की बात करें तो, Xen मशीनें सामान्य रूप से अप्रयुक्त रनलेवल 4 में बूट होती हैं, इसलिए आपको अपनी /etc/inittab फ़ाइल को संपादित करना होगा और अप्रयुक्त रनलेवल 4 को अनकमेंट करना होगा और इसे डिफ़ॉल्ट रनलेवल के रूप में सेट करना होगा। दूसरा, आपको प्रासंगिक सेवाओं को सक्षम करना होगा। दुर्भाग्य से, मेरे पास सिफारिश करने के लिए कोई जादुई सेट नहीं है।
इसी तरह, आप Amazon में X नहीं चला सकते (अभी तक), इसलिए रनलेवल 5 सवाल से बाहर है। यदि आपको अलग-अलग रनलेवल में चलने के लिए सेवाओं को कॉन्फ़िगर करने में मदद की आवश्यकता है, तो मेरा लिनक्स सर्विसेज ट्यूटोरियल देखें।
नेटवर्क इंटरफेस
आपको अपने नेटवर्क डिवाइस को DHCP के माध्यम से IP एड्रेस पट्टे पर देने और IPv6 प्रोटोकॉल को अक्षम करने के लिए कॉन्फ़िगर करना होगा। ज्यादातर मामलों में, यह डिफ़ॉल्ट सेटिंग है, इसलिए आपको यहां ज्यादा मेहनत नहीं करनी पड़ेगी।
अतिरिक्त महत्वपूर्ण नोट्स:
VMware उत्पाद आपको डायनामिक रूप से विस्तार योग्य इमेज बनाने की अनुमति देते हैं जो डेटा से भरने पर बढ़ते हैं। इसलिए, 40GB वर्चुअल डिस्क का वजन केवल 700MB हो सकता है, यदि इसमें केवल 700MB डेटा है। आकार को पूर्व-आवंटित करना भी संभव है, जिस स्थिति में डिस्क अपने पूर्ण 40GB आकार तक फैल जाएगी। हालांकि, हार्ड डिस्क स्थान को बचाने के लिए, कई उपयोगकर्ता पहले विकल्प - डायनामिक हार्ड डिस्क का उपयोग करना पसंद करेंगे।
जब VMDK को RAW में बदलने की बात आती है, तो डायनामिक विस्तार के साथ प्राप्त किसी भी लाभ की हानि होती है। डिस्क इमेज अपने वास्तविक आकार तक फैल जाएगी। इसलिए वर्चुअल मशीन बनाते समय सावधान रहें और डिस्क आकार पर ध्यान दें।
दूसरे, Amazon वर्तमान में केवल 10GB तक की इमेज का समर्थन करता है। इसका मतलब है कि आपका VMDK 10GB से अधिक नहीं होना चाहिए। अन्यथा, आप AMI नहीं बना पाएंगे। बहुत बड़ी इमेज का उपयोग करें और आपको एक त्रुटि मिलेगी:
ERROR: the specified image file <something>.raw is too large
एक उदाहरण इमेज:
तीसरे, आपको अपनी लिनक्स मशीन पर java और ruby इंस्टॉल करने की आवश्यकता होगी। और हाँ, आपको इस ट्यूटोरियल के चरण 3 के लिए एक लिनक्स मशीन की आवश्यकता होगी। अपने साहसिक कार्य पर निकलने से पहले सुनिश्चित करें कि आप इन सभी मांगों को पूरा करते हैं।
चरण 2: VMDK को RAW में बदलें
अब जब हम जानते हैं कि हमें क्या चाहिए, हम रूपांतरण के लिए QEMU का उपयोग करेंगे। QEMU, विंडोज और लिनक्स दोनों के लिए उपलब्ध, एक शक्तिशाली, जैक-ऑफ-ऑल-ट्रेड्स एमुलेटर/इमेज उपयोगिता है, जो आपको VMDK फ़ाइलों को RAW प्रारूप में बदलने की अनुमति देता है।
मैंने QEMU को अपने VMware प्लेयर लेख में वर्चुअल हार्ड डिस्क बनाने के लिए एक महान उपकरण के रूप में पेश किया था, बहुत समय पहले। आप इसका उपयोग डिस्क से संबंधित अन्य कार्यों के लिए भी कर सकते हैं, जैसे रूपांतरण।
अब, आपको VMware डिस्क को raw प्रारूप में बदलना होगा। अनिवार्य रूप से, यह हार्ड डिस्क इमेज को किसी भी स्मार्ट VMware एल्गोरिदम से मुक्त करेगा और इसे सेक्टर-दर-सेक्टर डिस्क इमेज में विस्तारित करेगा।
QEMU यह अच्छा करता है। वास्तव में, आप QEMU का उपयोग सभी प्रकार के रूपांतरणों के लिए कर सकते हैं। लेकिन वर्तमान में, हम vmdk > raw में रुचि रखते हैं। रूपांतरित करने के लिए, बस संबंधित .vmdk फ़ाइल का पता लगाएं और निम्न qemu-img कमांड चलाएं:
qemu-img convert -O raw source.vmdk target.raw
प्रक्रिया को चलने दें। आपकी मशीन के स्पेक्स और इमेज आकार के आधार पर, इसमें काफी समय लग सकता है।
चरण 3: AMI टूल्स के साथ इमेज बंडल करें
Amazon अपनी EC2 सेवा के साथ काम करने के लिए दो बंडल टूल्स प्रदान करता है। एक API टूल्स का सेट है, EC2 सेवा के लिए एक क्लाइंट इंटरफेस। दूसरा AMI टूल्स का सेट है, AMI को Amazon S3 पर बनाने, बंडल करने और अपलोड करने के लिए उपयोग की जाने वाली कमांड यूटिलिटीज का एक संग्रह।
हमें AMI टूल्स की आवश्यकता है। उन्हें डाउनलोड करें और निकालें, अधिमानतः अपने होम डायरेक्टरी के अंदर। अब, आपको एक लंबी और थकाऊ रूपांतरण कमांड चलानी होगी जो कुछ इस तरह दिखेगी:
./ec2-bundle-image -i <image> -r <arch> -c <cert> -> -> -k <key> --user <user id>
आइए विकल्पों की व्याख्या करें:
- -i <image> - यह आपकी RAW फ़ाइल है।
- -r <arch> - यह आपके वर्चुअल मशीन की आर्किटेक्चर है (i386, x86_64, आदि)।
- -c <cert> - यह वह प्रमाणपत्र है जो आपको Amazon से प्राप्त हुआ है। आपको उन्हें होम डायरेक्टरी में या उसी डायरेक्टरी में रखना चाहिए जिसके विरुद्ध आप कमांड चला रहे हैं, क्योंकि ec2-bundle-image कमांड प्रमाणपत्र के पथ में अनुगामी स्लैश की अनुमति नहीं देता है। मुझे नहीं पता कि ऐसा क्यों है, बस है। यदि आप इसका उपयोग करते हैं, तो आपको इस तरह की त्रुटि मिलेगी:
--prefix has invalid value 'cert.pem':'/' character not allowed.
यहां ऐसी त्रुटि का वास्तविक स्क्रीनशॉट है (स्पष्टता के लिए आउटपुट हेरफेर किया गया):
- -k <key> - आपकी निजी कुंजी। फिर से, प्रमाणपत्र के समान नियम लागू होते हैं।
- --user <user id> - आपका Amazon उपयोगकर्ता ID।
आवश्यकताएं
लेकिन यह पर्याप्त नहीं है। भले ही आप कमांड का अक्षरशः पालन करें, ec2-bundle-image शिकायत करेगा। कुछ इस तरह:
ec2-bundle-image: line 3: EC2_HOME: Neither of EC2_AMITOOL or EC2_HOME environment variables are set
इसका मतलब है कि यूटिलिटी का उपयोग करने से पहले आपको कुछ पर्यावरण चर निर्यात करने होंगे।
BASH
Bash पर, आप export कमांड का उपयोग करेंगे, जैसे:
export EC_HOME=<path> export EC_AMITOOL_HOME=<path>
TCSH
TCSH export का समर्थन नहीं करता। इसलिए इसके बजाय, आपको setenv का उपयोग करना होगा:
setenv EC_HOME <path> setenv EC_AMITOOL_HOME <path>
पथ निम्नलिखित से मेल खाने चाहिए:
- EC_HOME - आपकी होम डायरेक्टरी या शायद उसके अंदर एक ec2 सब-डायरेक्टरी, सबसे अधिक संभावना है। /tmp फाइलसिस्टम का उपयोग न करें क्योंकि EC_HOME असुरक्षित, विश्व-पठनीय डायरेक्टरी के बारे में शिकायत कर सकता है।
- EC_AMITOOL_HOME - वह डायरेक्टरी जहां आपने AMI टूल्स निकाले हैं।
आप अन्य चर भी निर्यात/सेटएनवी करना चाह सकते हैं, जो उन्हें मैन्युअल रूप से टाइप करने की प्रक्रिया को काफी उबाऊ बना देता है। चीजों को अधिक कुशल बनाने के लिए, आप एक फ़ाइल बनाना चाह सकते हैं, जिसमें आपके सभी चर और उनके मान हों और फिर जब आपको AMI टूल्स चलाने की आवश्यकता हो तो इसे स्रोत करें। कुछ इस तरह:
source file-containing-all-exports
अब, हम तैयार हैं। अपनी लंबी रूपांतरण कमांड के विरुद्ध Enter दबाएं। और प्रतीक्षा करें। थोड़ी देर बाद, प्रक्रिया सफलतापूर्वक पूरी होनी चाहिए। जोर "चाहिए" शब्द पर है, क्योंकि आपको इस चीज को काम करने के लिए नाजुक तैयारियों की एक श्रृंखला पूरी करनी होगी।
यदि आपने सफलतापूर्वक VMDK > RAW > AMI में बदल दिया, तो आप फ़ाइल अपलोड करने के लिए तैयार हैं। आपके रूपांतरण के सफल होने का संकेत /tmp डायरेक्टरी में फ़ाइलों की एक सूची और एक XML मेनिफेस्ट फ़ाइल होगी। यह डिफ़ॉल्ट आउटपुट डायरेक्टरी है।
यह वास्तविक रूपांतरण प्रक्रिया का समापन करता है। आपका अगला कदम अपलोड है, लेकिन यह इस लेख के दायरे से बाहर है। हम किसी अन्य अवसर पर इसके बारे में बात करेंगे। Amazon यहां रहने के लिए है और आप भविष्य में Dedoimedo पर इस विषय पर कई और लेख देखने की संभावना रखते हैं।
निष्कर्ष
जैसा कि आप देख सकते हैं, कार्य इतना सरल नहीं है, लेकिन यह प्रबंधनीय है और आपको काफी समय, बैंडविड्थ और अंततः पैसा बचाएगा। इमेज बदलने में सक्षम होना आपको Amazon EC2 सेवा की विशिष्ट आवश्यकताओं से परे स्वतंत्रता प्रदान करता है। हम पहले ही देख चुके हैं कि VMware कनवर्टर का उपयोग इस अंत तक कैसे किया जाए। अब, QEMU एक और शक्तिशाली उपकरण है जिसका उपयोग हम अपनी वर्चुअलाइजेशन आवश्यकताओं को बढ़ाने के लिए कर सकते हैं।
आपको काफी कुछ नियमों को पूरा करना होगा, खासकर AMI टूल्स के संबंध में। आपको यह सुनिश्चित करना होगा कि इमेज बहुत बड़ी न हो, प्रमाणपत्र और निजी कुंजी पथ के सामने अनुगामी स्लैश का उपयोग न करें, सुनिश्चित करें कि पर्यावरण चर निर्यात किए गए हैं, और सामान्य तौर पर, Amazon टूल्स को "असुरक्षित" डायरेक्टरी में न रखें। अब, बादलों पर चलने का मजा लें।
अगले लेखों में, हम कीवी के बारे में बात करेंगे, शक्तिशाली SUSE बिल्ड सर्विस का एक सुंदर घटक और देखेंगे कि कैसे इसका उपयोग कस्टम वितरण या यहां तक कि आपके अपने भौतिक इंस्टॉलेशन से Xen या यहां तक कि AMI इमेज बनाने के लिए किया जा सकता है, VMware कनवर्टर के समान क्षमताओं की पेशकश - और फिर कुछ। इस अंत तक, हम इमेज क्रिएटर और प्रोडक्ट क्रिएटर के साथ खेलेंगे। हम SUSE स्टूडियो और कई अन्य रोमांचक, क्रांतिकारी अवधारणाओं, विचारों और परियोजनाओं के बारे में भी बात करेंगे।
मार्कस, आपने AMI ट्यूटोरियल के बारे में पूछा? यहां है। आनंद लें।
चीयर्स।
