Computer >> कंप्यूटर ट्यूटोरियल >  >> प्रोग्रामिंग >> Python

AWS Glue डेटा कैटलॉग में वर्कफ़्लो शुरू करने के लिए Boto3 का उपयोग कैसे करें


इस लेख में, हम देखेंगे कि उपयोगकर्ता AWS Glue डेटा कैटलॉग में वर्कफ़्लो कैसे शुरू कर सकता है।

उदाहरण

समस्या कथन: वर्कफ़्लो शुरू करने के लिए पायथन में boto3 लाइब्रेरी का उपयोग करें।

इस समस्या को हल करने के लिए दृष्टिकोण/एल्गोरिदम

  • चरण 1: अपवादों को संभालने के लिए boto3 और botocore अपवाद आयात करें।

  • चरण 2: workflow_name इस फ़ंक्शन में पैरामीटर है।

  • चरण 3: boto3 लाइब्रेरी का उपयोग करके AWS सत्र बनाएं। सुनिश्चित करें कि डिफ़ॉल्ट प्रोफ़ाइल में region_name उल्लिखित है। यदि नहीं, तो सत्र बनाते समय स्पष्ट रूप से region_name पास करें।

  • चरण 4: glue के लिए AWS क्लाइंट बनाएं।

  • चरण 5: अब start_workflow_run फ़ंक्शन का उपयोग करें और पैरामीटर workflow_name को Name के रूप में पास करें।

  • चरण 6: यह RunId और प्रतिक्रिया मेटाडेटा लौटाता है और वर्कफ़्लो शुरू करता है।

  • चरण 7: वर्कफ़्लो शुरू करते समय यदि कुछ गलत हुआ तो सामान्य अपवाद को संभालें।

उदाहरण कोड

निम्न कोड वर्कफ़्लो शुरू करता है -

import boto3
from botocore.exceptions import ClientError

def start_a_workflow(workflow_name):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.start_workflow_run(Name=workflow_name)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in start_a_workflow: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in start_a_workflow: " + e.__str__())

print(start_a_workflow("test-daily"))

आउटपुट

{'RunId': 'wr_64e880240692fddd5e1b19aed587f856bc20a96f54bc', 'ResponseMetadata': {'RequestId': '782e953b-8ee3-4876-9b2c-cd35e147b513', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sun, 28 Mar 2021 08:11:02 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '79', 'connection': 'keep-alive', 'x-amzn-requestid': '782e953b-********************************13'}, 'RetryAttempts': 0}}

  1. - Boto3 का उपयोग करके AWS Glue डेटा कैटलॉग से टेबल कैसे डिलीट करें?

    समस्या विवरण - Python में boto3 लाइब्रेरी का उपयोग करके अपने अकाउंट में बनी टेबल को डिलीट करें।उदाहरण - डेटाबेस test से टेबल security डिलीट करें जो आपके अकाउंट में बनी है।इस समस्या को हल करने का दृष्टिकोण/एल्गोरिदमचरण 1 - अपवादों को संभालने के लिए boto3 और botocore एक्सेप्शन्स आयात करें।चरण 2 - पैरा

  1. - Boto3 का उपयोग करके AWS डेटा कैटलॉग से डेटाबेस कैसे डिलीट करें?

    समस्या विवरण - Python में boto3 लाइब्रेरी का उपयोग करके अपने अकाउंट में बने डेटाबेस को डिलीट करें।उदाहरण - अपने अकाउंट में बने डेटाबेस Portfolio को डिलीट करें।इस समस्या को हल करने का दृष्टिकोण/एल्गोरिदमचरण 1 - अपवादों को संभालने के लिए boto3 और botocore एक्सेप्शन्स आयात करें।चरण 2 - पैरामीटर databas

  1. - Boto3 का उपयोग करके AWS Glue डेटा कैटलॉग से क्रॉलर कैसे डिलीट करें?

    समस्या विवरण - Python में boto3 लाइब्रेरी का उपयोग करके अपने अकाउंट में बने क्रॉलर को डिलीट करें।उदाहरण - अपने अकाउंट में बने क्रॉलर Portfolio को डिलीट करें।इस समस्या को हल करने का दृष्टिकोण/एल्गोरिदमचरण 1 - अपवादों को संभालने के लिए boto3 और botocore एक्सेप्शन्स आयात करें।चरण 2 - पैरामीटर crawler_n