इस लेख में, हम देखेंगे कि उपयोगकर्ता AWS ग्लू डेटा कैटलॉग में मौजूद क्रॉलर के शेड्यूलर को कैसे रोक सकता है।
उदाहरण
AWS ग्लू डेटा कैटलॉग में उपलब्ध क्रॉलर के शेड्यूलर को रोकें।
समस्या कथन: boto3 . का उपयोग करें एक क्रॉलर के अनुसूचक को रोकने के लिए पायथन में पुस्तकालय।
इस समस्या को हल करने के लिए दृष्टिकोण/एल्गोरिदम
-
चरण 1: आयात करें boto3 और बोटोकोर अपवादों को संभालने के लिए अपवाद।
-
चरण 2: क्रॉलर_नाम इस फ़ंक्शन में आवश्यक पैरामीटर है।
-
चरण 3: boto3 lib . का उपयोग करके AWS सत्र बनाएं . सुनिश्चित करें कि क्षेत्र_नाम डिफ़ॉल्ट प्रोफ़ाइल में उल्लेख किया गया है। यदि इसका उल्लेख नहीं है, तो स्पष्ट रूप से region_name . पास करें सत्र बनाते समय।
-
चरण 4: गोंद . के लिए AWS क्लाइंट बनाएं ।
-
चरण 5: अब stop_crawler_schedule . का उपयोग करें कार्य करें और पैरामीटर पास करें crawler_name क्रॉलरनाम के रूप में।
-
चरण 6: यह प्रतिक्रिया मेटाडेटा लौटाता है और क्रॉलर की शेड्यूल स्थिति को OT_SCHEDULED के रूप में सेट करता है . यदि क्रॉलर की स्थिति चल रही है, तो यह क्रॉलर को नहीं रोकता है।
-
चरण 7: क्रॉलर के शेड्यूलर को रोकते समय कुछ गलत होने पर सामान्य अपवाद को संभालें।
उदाहरण कोड
निम्न कोड क्रॉलर के शेड्यूलर को रोकता है -
import boto3
from botocore.exceptions import ClientError
def stop_scheduler_of_a_crawler(crawler_name)
session = boto3.session.Session()
glue_client = session.client('glue')
try:
response = glue_client.stop_crawler_schedule(CrawlerName=crawler_name)
return response
except ClientError as e:
raise Exception("boto3 client error in stop_scheduler_of_a_crawler: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in stop_scheduler_of_a_crawler: " + e.__str__())
print(stop_scheduler_of_a_crawler("Data Dimension")) आउटपुट
{'ResponseMetadata': {'RequestId': '73e50130-*****************8e', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sun, 28 Mar 2021 07:26:55 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '2', 'connection': 'keep-alive', 'x-amzn-requestid': '73e50130-***************8e'}, 'RetryAttempts': 0}}