Computer >> कंप्यूटर ट्यूटोरियल >  >> प्रोग्रामिंग >> Python

Scrapy स्पाइडर को ScrapingHub पर डिप्लॉय करना


Scrapy स्पाइडर

Scrapy स्पाइडर एक क्लास है जो वेबसाइट के लिंक का पालन करने और वेबपेज से जानकारी निकालने की सुविधा प्रदान करती है।

यह मुख्य क्लास है जिससे अन्य स्पाइडर्स को इनहेरिट करना चाहिए।

Scrapinghub

Scrapinghub एक ओपन सोर्स एप्लिकेशन है जो Scrapy स्पाइडर्स को चलाता है। Scrapinghub वेब कंटेंट को कुछ उपयोगी डेटा या जानकारी में बदल देता है। यह हमें वेबपेज से डेटा निकालने की अनुमति देता है, यहां तक कि जटिल वेबपेज के लिए भी।

हम स्क्रैपी स्पाइडर्स को क्लाउड पर डिप्लॉय और एक्जीक्यूट करने के लिए scrapinghub का उपयोग करने जा रहे हैं।

Scrapinghub पर स्पाइडर्स डिप्लॉय करने के चरण -

चरण 1 -

एक scrapy प्रोजेक्ट बनाएं -

scrapy इंस्टॉल करने के बाद, बस अपने टर्मिनल में निम्नलिखित कमांड चलाएं -

$scrapy startproject 

अपनी डायरेक्टरी को अपने नए प्रोजेक्ट (project_name) में बदलें।

चरण 2 -

अपनी टार्गेट वेबसाइट के लिए एक scrapy स्पाइडर लिखें, आइए एक सामान्य वेबसाइट "quotes.toscrape.com" लेते हैं।

नीचे मेरा बहुत सरल scrapy स्पाइडर है -

कोड -

# scrapy लाइब्रेरी आयात करें
import scrapy

class AllSpider(scrapy.Spider):
    crawled = set()
    # स्पाइडर नाम
    name = 'all'
    # प्रारंभिक URL
    start_urls = ['https://www.tutorialspoint.com/']
    
    def __init__(self):
        self.links = []
        
    def parse(self, response):
        self.links.append(response.url)
        for href in response.css('a::attr(href)'):
            yield response.follow(href, self.parse)

चरण 3 -

अपना स्पाइडर चलाएं और आउटपुट को अपने links.json फ़ाइल में सेव करें -

उपरोक्त कोड निष्पादित करने के बाद, आप सभी लिंक को स्क्रैप कर पाएंगे और इसे links.json फ़ाइल के अंदर सेव कर पाएंगे। यह एक लंबी प्रक्रिया नहीं हो सकती है लेकिन इसे लगातार 24/7 चलाने के लिए हमें इस स्पाइडर को Scrapinghub पर डिप्लॉय करने की आवश्यकता है।

चरण 4 -

Scrapinghub पर अकाउंट बनाना

इसके लिए, आपको बस ScrapingHub लॉगिन पेज पर अपने Gmail अकाउंट या Github का उपयोग करके लॉगिन करना होगा। यह डैशबोर्ड पर रीडायरेक्ट करेगा।

Scrapy स्पाइडर को ScrapingHub पर डिप्लॉय करना

अब Create project पर क्लिक करें और प्रोजेक्ट का नाम बताएं। अब हम अपने प्रोजेक्ट को कमांड लाइन (CLI) या github के माध्यम से क्लाउड पर जोड़ सकते हैं। अगला हम shub CLI के माध्यम से अपना कोड डिप्लॉय करने जा रहे हैं, पहले shub इंस्टॉल करें

$pip install shub

shub इंस्टॉल करने के बाद, अकाउंट बनाने पर जनरेट हुए API की का उपयोग करके shub अकाउंट में लॉगिन करें (https://app.scrapinghub.com/account/apikey से अपना API की दर्ज करें)।

$shub login

यदि आपका API की ठीक है, तो आप अब लॉगिन हो चुके हैं। अब हमें डिप्लॉय आईडी का उपयोग करके इसे डिप्लॉय करने की आवश्यकता है, जो आप "deploy your code" सेक्शन के कमांड लाइन सेक्शन पर देखते हैं (6 अंकों की संख्या)।

$ shub deploy deploy_id

कमांड लाइन से बस इतना ही, अब स्पाइडर्स डैशबोर्ड सेक्शन पर वापस जाएं, उपयोगकर्ता तैयार स्पाइडर देख सकता है। बस स्पाइडर नाम पर क्लिक करें और रन बटन पर। बस इतना ही अब आप अपने डैशबोर्ड में अपना स्पाइडर देख सकते हैं, कुछ इस तरह -

Scrapy स्पाइडर को ScrapingHub पर डिप्लॉय करना

यह हमें एक क्लिक के माध्यम से चल रही प्रगति दिखाएगा और आपको अपना लोकल मशीन 24/7 चलाने की आवश्यकता नहीं है।


  1. Google Cloud Functions पर Ruby में महारत हासिल करें: निर्बाध रूप से निर्माण, परीक्षण और तैनात करें Google Cloud Functions पर Ruby में महारत हासिल करें: निर्बाध रूप से निर्माण, परीक्षण और तैनात करें

    सर्वरलेस फंक्शन्स क्लाउड सेवाओं के विकास और तैनाती का एक नया प्रोग्रामिंग प्रतिमान है। एक सर्वरलेस दुनिया में, हम अपने बैकएंड सेवाओं के प्रोविजनिंग, मेंटेनेंस और स्केलिंग को क्लाउड प्रोवाइडर पर अमूर्त करते हैं। यह डेवलपर्स को एक विशिष्ट समस्या को हल करने पर ध्यान केंद्रित करने की अनुमति देकर डेवलपर

  1. रूबी में AWS Lambda: एंड-टू-एंड बिल्ड, टेस्ट और डिप्लॉय गाइड रूबी में AWS Lambda: एंड-टू-एंड बिल्ड, टेस्ट और डिप्लॉय गाइड

    सॉफ्टवेयर विकसित करना चुनौतीपूर्ण हो सकता है, लेकिन इसे बनाए रखना कहीं अधिक चुनौतीपूर्ण है। रखरखाव में सॉफ्टवेयर पैच और सर्वर रखरखाव शामिल हैं। इस पोस्ट में, हम सर्वर प्रबंधन और रखरखाव पर ध्यान केंद्रित करेंगे। पारंपरिक रूप से, सर्वर ऑन-प्रिमाइसेस थे, जिसका अर्थ है भौतिक हार्डवेयर खरीदना और बनाए रखन

  1. AWS Lambda पर रूबी ऑन Rails डिप्लॉय करना: चरण-दर-चरण मार्गदर्शिका AWS Lambda पर रूबी ऑन Rails डिप्लॉय करना: चरण-दर-चरण मार्गदर्शिका

    सर्वरलेस कंप्यूटिंग सर्वर को प्रबंधित और प्रोविजन करने के काम को क्लाउड प्रोवाइडर पर उतारने में मदद करता है और अधिकांश प्रौद्योगिकी टीमों के लिए तेजी से एक चीज बन रहा है। AWS Lambda एक प्रकार की सर्वरलेस तकनीक है जिसका उपयोग कई प्रौद्योगिकी टीमों द्वारा किया जाता है। AWS Lambda अधिकांश मुख्य प्रोग्र