Computer >> कंप्यूटर ट्यूटोरियल >  >> प्रोग्रामिंग >> Python

Python में Boto3 लाइब्रेरी का उपयोग करके क्रॉलर का विवरण कैसे प्राप्त करें?


उदाहरण: क्रॉलर, crawler_for_s3_file_job का विवरण प्राप्त करें।

इस समस्या को हल करने का दृष्टिकोण/एल्गोरिदम

चरण 1 - अपवादों को संभालने के लिए boto3 और botocore एक्सेप्शन्स आयात करें।

चरण 2 - crawler_name अनिवार्य पैरामीटर है। यह एक सूची है इसलिए यूज़र एक समय में कई क्रॉलर्स के नाम भेजकर विवरण प्राप्त कर सकता है।

चरण 3 - boto3 लाइब्रेरी का उपयोग करके AWS सत्र बनाएं। सुनिश्चित करें कि region_name डिफ़ॉल्ट प्रोफ़ाइल में उल्लिखित है। यदि नहीं बताया गया है, तो सत्र बनाते समय region_name को स्पष्ट रूप से पास करें।

चरण 4 - Glue के लिए AWS क्लाइंट बनाएं।

चरण 5 - अब batch_get_crawlers फंक्शन का उपयोग करें और crawler_names पास करें।

चरण 6 - यह क्रॉलर्स का मेटाडेटा लौटाता है।

चरण 7 - जॉब चेक करते समय यदि कुछ गलत हुआ तो सामान्य अपवाद को संभालें।

उदाहरण

क्रॉलर का विवरण प्राप्त करने के लिए निम्न कोड का उपयोग करें -

import boto3 from botocore.exceptions import ClientError def get_crawler_details(crawler_names:list):     session = boto3.session.Session()     glue_client = session.client('glue')     try:         crawler_details = glue_client.batch_get_crawlers(CrawlerNames=crawler_names)         return crawler_details     except ClientError as e:         raise Exception("boto3 client error in get_crawler_details: " + e.__str__())     except Exception as e:         raise Exception("Unexpected error in get_crawler_details: " + e.__str__()) print(get_crawler_details("[crawler_for_s3_file_job]"))

  1. - AWS Resource का उपयोग करके अंतिम संशोधित दिनांक के आधार पर S3 से फ़ाइलों की सूची कैसे प्राप्त करें?

    समस्या विवरण Python में boto3 लाइब्रेरी का उपयोग करके S3 से फ़ाइलों की सूची प्राप्त करें, जो दिए गए दिनांक टाइमस्टैम्प के बाद संशोधित हुई हैं। उदाहरण - यदि test.zip 2021-01-21 13:19:56.986445+00:00 के बाद संशोधित हुआ है तो S3 के Bucket_1/testfolder से test.zip सूचीबद्ध करें। इस समस्या को हल करने का

  1. - Python में Boto3 लाइब्रेरी का उपयोग करके AWS S3 में मौजूद बकेट की सूची कैसे प्राप्त करें?

    समस्या विवरण Python में boto3 लाइब्रेरी का उपयोग करके AWS में मौजूद सभी बकेट की सूची प्राप्त करें। उदाहरण - BUCKET_1, BUCKET2, BUCKET_3 जैसे बकेट के नाम प्राप्त करें। इस समस्या को हल करने का दृष्टिकोण/एल्गोरिदम चरण 1 - अपवादों को संभालने के लिए boto3 और botocore अपवाद आयात करें। चरण 2 - Boto3 लाइब्

  1. - Python में Boto3 लाइब्रेरी का उपयोग करके AWS सत्र कैसे बनाएं?

    जब कोई उपयोगकर्ता लैम्ब्डा या प्रोग्रामिंग कोड का उपयोग करके AWS सेवाओं का उपयोग करना चाहता है, तो पहले AWS सेवाओं तक पहुंचने के लिए एक सत्र सेट अप करने की आवश्यकता होती है। AWS सत्र डिफ़ॉल्ट के साथ-साथ आवश्यकताओं के आधार पर कस्टमाइज़्ड भी हो सकता है। समस्या विवरण Python में Boto3 लाइब्रेरी का उपयो