इस लेख में, हम पायथन में उपलब्ध lxml मॉड्यूल का उपयोग करके वेब स्क्रैपिंग तकनीक के बारे में जानेंगे।
वेब स्क्रैपिंग क्या है?
वेब स्क्रैपिंग का उपयोग एक क्रॉलर/स्कैनर की मदद से वेबसाइट से डेटा प्राप्त करने के लिए किया जाता है। वेब स्क्रैपिंग उस वेब पेज से डेटा निकालने में काम आती है जो API की कार्यक्षमता प्रदान नहीं करता है। पायथन में, वेब स्क्रैपिंग विभिन्न मॉड्यूल्स जैसे Beautiful Soup, Scrapy और lxml की मदद से की जा सकती है।
यहां हम lxml मॉड्यूल का उपयोग करके वेब स्क्रैपिंग पर चर्चा करेंगे।
इसके लिए, हमें पहले lxml इंस्टॉल करना होगा।
टर्मिनल या कमांड प्रॉम्प्ट में टाइप करें -
>>> pip install lxml
यहां डेटा तक पहुंचने के लिए xpath का उपयोग किया जाता है।
इस लेख में, हम स्टीम वेबसाइट से डेटा निकालेंगे जिसमें विभिन्न गेम्स के बारे में जानकारी होती है।
https://store.steampowered.com/genre/Free%20to%20Play/
पेज पर, हम लोकप्रिय नई रिलीज़ सेक्शन से जानकारी निकालने का प्रयास करेंगे। यहां हम नाम, कीमतें, संबंधित टैग और लक्ष्य प्लेटफॉर्म निकालेंगे।
पेज पर क्रोम में इंस्पेक्ट एलिमेंट फीचर का उपयोग करके नई रिलीज़ टैब का HTML कोड देखें। यहां हमें पता चलेगा कि कौन सा टैग आवश्यक जानकारी संग्रहीत कर रहा है।
इस वेबसाइट में; हर सूची तत्व एक div टैग id=tab_content में संलग्न है जो आगे इसमें संलग्न है
एक div टैग id=tab_select_newreleases
अब आइए कार्यान्वयन देखते हैं
