Computer >> कंप्यूटर ट्यूटोरियल >  >> प्रोग्रामिंग >> Python

पायथन का उपयोग करके वेब से फ़ाइलें डाउनलोड करना

पायथन वेब से फ़ाइलें डाउनलोड करने के लिए urllib, requests जैसे विभिन्न मॉड्यूल प्रदान करता है। इस लेख में हम requests लाइब्रेरी का उपयोग करके URL से फ़ाइलें कुशलतापूर्वक डाउनलोड करना सीखेंगे।

चरण-दर-चरण प्रक्रिया

1. मॉड्यूल आयात करें

import requests

2. URL प्राप्त करें और अनुरोध भेजें

url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)

allow_redirects=True पैरामीटर रीडायरेक्ट को फॉलो करने की अनुमति देता है।

3. सामग्री को फ़ाइल में सहेजें

open('facebook.ico', 'wb').write(r.content)

यह कोड बाइनरी मोड ('wb') में फ़ाइल खोलता है और डाउनलोड की गई सामग्री लिखता है।

पूर्ण उदाहरण

import requests
url = 'https://www.facebook.com/favicon.ico'
r = requests.get(url, allow_redirects=True)
open('facebook.ico', 'wb').write(r.content)

फ़ाइल प्रकार की जांच

डाउनलोड करने से पहले फ़ाइल का प्रकार जानने के लिए हेडर जांचें:

>>> r = requests.get(url, allow_redirects=True)
>>> print(r.headers.get('content-type'))
image/png

स्मार्ट डाउनलोड: केवल हेडर प्राप्त करें

पूरी फ़ाइल डाउनलोड किए बिना केवल हेडर प्राप्त करके फ़ाइल का आकार और प्रकार जांचें:

def is_downloadable(url):
    r = requests.head(url, allow_redirects=True)
    content_type = r.headers.get('content-type', '')
    # HTML पेज आदि को डाउनलोड न करें
    if 'text' in content_type or 'html' in content_type:
        return False
    # फ़ाइल आकार सीमित करें (उदाहरण: 200 MB)
    content_length = r.headers.get('content-length')
    if content_length and int(content_length) > 2e8:
        return False
    return True

print(is_downloadable('https://www.youtube.com/watch?v=xCglV_dqFGI'))  # False
print(is_downloadable('https://www.facebook.com/favicon.ico'))  # True

URL से फ़ाइलनाम निकालना

URL से फ़ाइलनाम प्राप्त करने के दो तरीके:

विधि 1: URL पार्स करना

url = "https://www.example.com/wp-content/uploads/logo.png"
if '/' in url:
    filename = url.rsplit('/', 1)[1]
    print(filename)  # logo.png

विधि 2: Content-Disposition हेडर का उपयोग

जब URL में फ़ाइलनाम न हो (जैसे https://url.com/download), तो Content-Disposition हेडर उपयोगी होता है।

import requests
import re

def get_filename_from_cd(cd):
    """Content-Disposition हेडर से फ़ाइलनाम निकालें"""
    if not cd:
        return None
    fname = re.findall('filename=(.+)', cd)
    if len(fname) == 0:
        return None
    return fname[0]

url = 'https://google.com/favicon.ico'
r = requests.get(url, allow_redirects=True)
filename = get_filename_from_cd(r.headers.get('content-disposition'))
if filename:
    open(filename, 'wb').write(r.content)
else:
    # फॉलबैक: URL से नाम लें
    filename = url.rsplit('/', 1)[1]
    open(filename, 'wb').write(r.content)

उपरोक्त दोनों विधियों को मिलाकर आप अधिकांश स्थितियों में सही फ़ाइलनाम प्राप्त कर सकते हैं।

  1. पायथन और Scrapy का उपयोग करके वेब स्क्रैपिंग पायथन और Scrapy का उपयोग करके वेब स्क्रैपिंग

    क्रॉलर विकसित करने के लिए सबसे अच्छे फ्रेमवर्क में से एक scrapy है। Scrapy एक लोकप्रिय वेब स्क्रैपिंग और क्रॉलिंग फ्रेमवर्क है जो वेबसाइटों को स्क्रैप करना आसान बनाने के लिए हाई-लेवल फंक्शनलिटी का उपयोग करता है। इंस्टॉलेशन विंडोज में scrapy इंस्टॉल करना आसान है: हम या तो pip या conda (यदि आपके पास

  1. पायथन में lxml का उपयोग करके वेब स्क्रैपिंग लागू करना पायथन में lxml का उपयोग करके वेब स्क्रैपिंग लागू करना

    वेब स्क्रैपिंग न केवल डेटा विज्ञान के प्रति उत्साही लोगों को उत्साहित करता है, बल्कि छात्रों या शिक्षार्थियों को भी, जो वेबसाइटों में गहराई से जाना चाहते हैं। पायथन कई वेब स्क्रैपिंग लाइब्रेरी प्रदान करता है, जिनमें शामिल हैं: Scrapy Urllib BeautifulSoup Selenium Python Requests LXML हम पायथन के

  1. पायथन का उपयोग करके एकाधिक फ़ाइलों का नाम बदलना पायथन का उपयोग करके एकाधिक फ़ाइलों का नाम बदलना

    rename() मेथड का उपयोग पायथन 3 में किसी फ़ाइल या निर्देशिका का नाम बदलने के लिए किया जाता है। rename() मेथड os मॉड्यूल का एक हिस्सा है। os.rename() के लिए सिंटैक्स os.rename(src, dst) पहला तर्क src है जो नाम बदलने वाली फ़ाइल का स्रोत पता है और दूसरा तर्क dst नए नाम के साथ गंतव्य है। आइए किसी भी निर