BeautifulSoup एक थर्ड-पार्टी पायथन लाइब्रेरी है जिसका उपयोग वेब पेजों से डेटा पार्स करने के लिए किया जाता है। यह वेब स्क्रैपिंग में मदद करता है, जो विभिन्न स्रोतों से डेटा निकालने, उपयोग करने और हेरफेर करने की एक प्रक्रिया है।
वेब स्क्रैपिंग का उपयोग शोध उद्देश्यों के लिए डेटा निकालने, बाजार के रुझानों को समझने/तुलना करने, SEO मॉनिटरिंग करने आदि के लिए भी किया जा सकता है।
Windows पर BeautifulSoup इंस्टॉल करने के लिए निम्न कमांड चलाएं:
pip install beautifulsoup4
उदाहरण
import requests
from bs4 import BeautifulSoup
from urllib.request import urlopen
import urllib
url = 'https://en.wikipedia.org/wiki/Algorithm'
html = urlopen(url).read()
print("Reading the webpage...")
soup = BeautifulSoup(html, features="html.parser")
print("Parsing the webpage...")
for script in soup(["script", "style"]):
script.extract() # rip it out
print("Extracting text from the webpage...")
text = soup.get_text()
print("Data cleaning...")
lines = (line.strip() for line in text.splitlines())
chunks = (phrase.strip() for line in lines for phrase in line.split(" "))
text = '\n'.join(chunk for chunk in chunks if chunk)
text = str(text)
print(text)
आउटपुट
Reading the webpage... Parsing the webpage... Extracting text from the webpage... Data cleaning... Recursive C implementation of Euclid's algorithm from the above flowchart Recursion A recursive algorithm is one that invokes (makes reference to) itself repeatedly until a certain condition (also known as termination condition) matches, which is a method common to functional programming… ….. Developers Statistics Cookie statement
व्याख्या
आवश्यक पैकेज आयात किए जाते हैं और उपनाम दिए जाते हैं।
वेबसाइट परिभाषित की जाती है।
URL खोला जाता है, और 'script' टैग और अन्य अप्रासंगिक HTML टैग हटा दिए जाते हैं।
वेबपेज डेटा से टेक्स्ट निकालने के लिए 'get_text' फ़ंक्शन का उपयोग किया जाता है।
अतिरिक्त स्पेस और अवैध शब्द हटा दिए जाते हैं।
टेक्स्ट कंसोल पर प्रिंट किया जाता है।
