Computer >> कंप्यूटर ट्यूटोरियल >  >> प्रोग्रामिंग >> Python

पायथन और Scrapy का उपयोग करके वेब स्क्रैपिंग


क्रॉलर विकसित करने के लिए सबसे अच्छे फ्रेमवर्क में से एक scrapy है। Scrapy एक लोकप्रिय वेब स्क्रैपिंग और क्रॉलिंग फ्रेमवर्क है जो वेबसाइटों को स्क्रैप करना आसान बनाने के लिए हाई-लेवल फंक्शनलिटी का उपयोग करता है।

इंस्टॉलेशन

विंडोज में scrapy इंस्टॉल करना आसान है: हम या तो pip या conda (यदि आपके पास anaconda है) का उपयोग कर सकते हैं। Scrapy पायथन 2 और 3 दोनों संस्करणों पर चलता है।

pip install Scrapy

या

conda install -c conda-forge scrapy

यदि Scrapy सही ढंग से इंस्टॉल हो गया है, तो एक scrapy कमांड अब टर्मिनल में उपलब्ध होगी -

C:\Users\rajesh>scrapy
Scrapy 1.6.0 - no active project
Usage: scrapy  [options] [args]
Available commands:
bench       Run quick benchmark test
fetch       Fetch a URL using the Scrapy downloader
genspider   Generate new spider using pre-defined templates
runspider   Run a self-contained spider (without creating a project)
settings    Get settings values
shell       Interactive scraping console
startproject  Create new project
version     Print Scrapy version
view        Open URL in browser, as seen by Scrapy
[ more ]
More commands available when run from project directory
Use "scrapy  -h" to see more info about a command.

प्रोजेक्ट शुरू करना

अब जब Scrapy इंस्टॉल हो गया है, तो हम अपने पहले Scrapy प्रोजेक्ट के लिए डिफ़ॉल्ट संरचना उत्पन्न करने के लिए startproject कमांड चला सकते हैं।

इसे करने के लिए, टर्मिनल खोलें और उस डायरेक्टरी में नेविगेट करें जहां आप अपना Scrapy प्रोजेक्ट स्टोर करना चाहते हैं, और फिर scrapy startproject चलाएं। नीचे मैं प्रोजेक्ट नाम के लिए scrapy_example का उपयोग कर रहा हूँ -

C:\Users\rajesh>scrapy startproject scrapy_example
New Scrapy project 'scrapy_example', using template directory 'c:\python\python361\lib\site-packages\scrapy\templates\project', created in: C:\Users\rajesh\scrapy_example
You can start your first spider with:
cd scrapy_example
scrapy genspider example example.com
C:\Users\rajesh>cd scrapy_example
C:\Users\rajesh\scrapy_example>tree /F
Folder PATH listing
Volume serial number is 8CD6-8D39
C:.
| scrapy.cfg
| └───scrapy_example
    | items.py
    | middlewares.py
    | pipelines.py
    | settings.py
    | __init__.py
    | ├───spiders
    | | __init__.py
    | | 
    | └───__pycache__
    └───__pycache__ 

दूसरा तरीका है हम scrapy shell चलाएं और वेब स्क्रैपिंग करें, जैसे नीचे -

In [18]: fetch ("https://www.wsj.com/india")
2019-02-04 22:38:53 [scrapy.core.engine] DEBUG: Crawled (200)  (referer: None)

Scrapy क्रॉलर एक "response" ऑब्जेक्ट लौटाएगा जिसमें डाउनलोड की गई जानकारी होती है। आइए चेक करें कि हमारा उपरोक्त क्रॉलर क्या समाहित करता है -

In [19]: view(response)
Out[19]: True

और आपके डिफ़ॉल्ट ब्राउज़र में, वेब लिंक खुल जाएगा और आप कुछ ऐसा देखेंगे -

पायथन और Scrapy का उपयोग करके वेब स्क्रैपिंग

बहुत बढ़िया, यह हमारे वेब पेज से कुछ हद तक समान दिखता है, इसलिए क्रॉलर ने पूरे वेब पेज को सफलतापूर्वक डाउनलोड कर लिया है।

अब देखते हैं कि हमारा क्रॉलर क्या समाहित करता है -

In [22]: print(response.text)


  
    The Wall Street Journal & Breaking News, Business, Financial and Economic News, World News and Video
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    …& so much more:

आइए इस वेबपेज से कुछ महत्वपूर्ण जानकारी निकालने की कोशिश करते हैं -

वेबपेज का शीर्षक निकालना -

Scrapy HTML से CSS सेलेक्टर्स जैसे क्लास, आईडी आदि के आधार पर जानकारी निकालने के तरीके प्रदान करता है। किसी भी वेबपेज शीर्षक के लिए CSS सेलेक्टर ढूंढने के लिए, बस राइट क्लिक करें और इंस्पेक्ट पर क्लिक करें, जैसे नीचे:

पायथन और Scrapy का उपयोग करके वेब स्क्रैपिंग

यह आपके ब्राउज़र विंडो में डेवलपर टूल्स खोलेगा -

पायथन और Scrapy का उपयोग करके वेब स्क्रैपिंग

जैसा कि देखा जा सकता है, CSS क्लास "wsj-headline-link" उन सभी एंकर () टैग पर लागू होती है जिनमें शीर्षक होते हैं। इस जानकारी के साथ, हम response ऑब्जेक्ट में बाकी कंटेंट से सभी शीर्षक खोजने की कोशिश करेंगे -

पायथन और Scrapy का उपयोग करके वेब स्क्रैपिंग

response.css() वह फंक्शन है जो CSS सेलेक्टर के आधार पर कंटेंट निकालेगा (जैसे ऊपर एंकर टैग)। आइए हमारे response.css फंक्शन के कुछ और उदाहरण देखें।

In [24]: response.css(".wsj-headline-link::text").extract_first()
Out[24]: 'China Fears Loom Over Stocks After January Surge'

और

In [25]: response.css(".wsj-headline-link").extract_first()
Out[25]: 'China Fears Loom Over Stocks After January Surge'

वेबपेज से सभी लिंक प्राप्त करने के लिए -

links = response.css('a::attr(href)').extract()

आउटपुट

['https://www.google.com/intl/en_us/chrome/browser/desktop/index.html', 'https://support.apple.com/downloads/', 'https://www.mozilla.org/en-US/firefox/new/', 'https://windows.microsoft.com/en-us/internet-explorer/download-ie', 'https://www.barrons.com', 'https://bigcharts.marketwatch.com', 'https://www.wsj.com/public/page/wsj-x-marketing.html', 'https://www.dowjones.com/', 'https://global.factiva.com/factivalogin/login.asp?productname=global', 'https://www.fnlondon.com/', 'https://www.mansionglobal.com/', 'https://www.marketwatch.com', 'https://newsplus.wsj.com', 'https://privatemarkets.dowjones.com', 'https://djlogin.dowjones.com/login.asp?productname=rnc', 'https://www.wsj.com/conferences', 'https://www.wsj.com/pro/centralbanking', 'https://www.wsj.com/video/', 'https://www.wsj.com', 'https://www.bigdecisions.com/', 'https://www.businessspectator.com.au/', 'https://www.checkout51.com/?utm_source=wsj&utm_medium=digitalhousead&utm_campaign=wsjspotlight', 'https://www.harpercollins.com/', 'https://housing.com/', 'https://www.makaan.com/', 'https://nypost.com/', 'https://www.newsamerica.com/', 'https://www.proptiger.com', 'https://www.rea-group.com/', …… ……

WSJ (वॉल स्ट्रीट जर्नल) वेबपेज से कमेंट काउंट प्राप्त करने के लिए -

In [38]: response.css(".wsj-comment-count::text").extract()
Out[38]: ['71', '59']

उपरोक्त सिर्फ scrapy के माध्यम से वेब-स्क्रैपिंग का परिचय है, हम scrapy के साथ बहुत कुछ कर सकते हैं।


  1. पायथन में CX_Freeze का उपयोग पायथन में CX_Freeze का उपयोग

    कभी-कभी हम कुछ अलग बनाना चाहते हैं जो बहुत रोमांचक हो, और मानव स्वभाव के अनुसार, हम हमेशा इसे साझा करना पसंद करते हैं। पायथन भी उन इच्छाओं को पूरा करता है। पायथन का उपयोग करके, अगर हम अपने पायथन प्रोग्राम को अपने दोस्तों के साथ साझा करना चाहते हैं तो हम ऐसा कर सकते हैं, बस उनके मशीन पर वही पायथन सं

  1. वेब स्क्रैपिंग के लिए पायथन टूल्स वेब स्क्रैपिंग के लिए पायथन टूल्स

    कंप्यूटर विज्ञान में वेब स्क्रैपिंग का अर्थ वेबसाइटों से डेटा निकालना है। इस तकनीक का उपयोग करके वेब पर असंरचित डेटा को संरचित डेटा में बदलें। पायथन 3 में सबसे आम वेब स्क्रैपिंग टूल्स हैं - Urllib2 Requests BeautifulSoup Lxml Selenium MechanicalSoup Urllib2 - यह टूल पायथन के साथ प्री-इंस्टॉल्ड आत

  1. मैक पर Python 3 को अपग्रेड और उपयोग करना मैक पर Python 3 को अपग्रेड और उपयोग करना

    आप सोच सकते हैं कि आपके बिल्कुल नए मैक में सभी प्रासंगिक सॉफ़्टवेयर का नवीनतम संस्करण है। अधिकांश यूज़र ऐप्स के लिए, आप सही होंगे, लेकिन अंतर्निहित फ्रेमवर्क के लिए यह एक अलग कहानी है। नए मैक अभी भी Python 2.7.10 के साथ शिप होते हैं, भले ही सबसे हालिया स्थिर रिलीज़ Python 3.5 है। यदि यह संस्करणों क