इस लेख में, हम देखेंगे कि उपयोगकर्ता AWS Glue डेटा कैटलॉग में मौजूद क्रॉलर के शेड्यूलर को कैसे रोक सकता है।
उदाहरण
AWS Glue डेटा कैटलॉग में उपलब्ध क्रॉलर के शेड्यूलर को रोकें।
समस्या कथन: क्रॉलर के शेड्यूलर को रोकने के लिए पायथन में boto3 लाइब्रेरी का उपयोग करें।
इस समस्या को हल करने के लिए दृष्टिकोण/एल्गोरिदम
चरण 1: अपवादों को संभालने के लिए boto3 और botocore अपवाद आयात करें।
चरण 2: crawler_name इस फ़ंक्शन में आवश्यक पैरामीटर है।
चरण 3: boto3 लाइब्रेरी का उपयोग करके AWS सत्र बनाएं। सुनिश्चित करें कि डिफ़ॉल्ट प्रोफ़ाइल में region_name उल्लिखित है। यदि नहीं, तो सत्र बनाते समय स्पष्ट रूप से region_name पास करें।
चरण 4: glue के लिए AWS क्लाइंट बनाएं।
चरण 5: अब stop_crawler_schedule फ़ंक्शन का उपयोग करें और पैरामीटर crawler_name को CrawlerName के रूप में पास करें।
चरण 6: यह प्रतिक्रिया मेटाडेटा लौटाता है और क्रॉलर की शेड्यूल स्थिति को NOT_SCHEDULED के रूप में सेट करता है। यदि क्रॉलर की स्थिति चल रही है, तो यह क्रॉलर को नहीं रोकता है।
चरण 7: क्रॉलर के शेड्यूलर को रोकते समय यदि कुछ गलत हुआ तो सामान्य अपवाद को संभालें।
उदाहरण कोड
निम्न कोड क्रॉलर के शेड्यूलर को रोकता है -
import boto3
from botocore.exceptions import ClientError
def stop_scheduler_of_a_crawler(crawler_name):
session = boto3.session.Session()
glue_client = session.client('glue')
try:
response = glue_client.stop_crawler_schedule(CrawlerName=crawler_name)
return response
except ClientError as e:
raise Exception("boto3 client error in stop_scheduler_of_a_crawler: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in stop_scheduler_of_a_crawler: " + e.__str__())
print(stop_scheduler_of_a_crawler("Data Dimension"))
आउटपुट
{'ResponseMetadata': {'RequestId': '73e50130-*****************8e', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sun, 28 Mar 2021 07:26:55 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '2', 'connection': 'keep-alive', 'x-amzn-requestid': '73e50130-***************8e'}, 'RetryAttempts': 0}}
