समस्या कथन:boto3 . का उपयोग करें आपके खाते में बनाए गए एडब्ल्यूएस गोंद डेटा कैटलॉग से सभी तालिकाओं के माध्यम से पेजिनेट करने के लिए पायथन में पुस्तकालय
इस समस्या को हल करने के लिए दृष्टिकोण/एल्गोरिदम
-
चरण 1: आयात करें boto3 और बोटोकोर अपवादों को संभालने के लिए अपवाद।
-
चरण 2: अधिकतम_आइटम , पृष्ठ_आकार और शुरुआती_टोकन इस फ़ंक्शन के लिए वैकल्पिक पैरामीटर हैं, जबकि डेटाबेस_नाम आवश्यक है।
-
अधिकतम_आइटम लौटने के लिए रिकॉर्ड की कुल संख्या को निरूपित करें। यदि उपलब्ध रिकॉर्ड की संख्या> max_items , फिर एक नेक्स्टटोकन पेजिनेशन फिर से शुरू करने के जवाब में प्रदान किया जाएगा।
-
पृष्ठ_आकार प्रत्येक पृष्ठ के आकार को दर्शाता है।
-
शुरुआती_टोकन पृष्ठांकित करने में मदद करता है, और यह NextToken . का उपयोग करता है पिछली प्रतिक्रिया से।
-
-
चरण 3: boto3 lib . का उपयोग करके AWS सत्र बनाएं . सुनिश्चित करें कि क्षेत्र_नाम डिफ़ॉल्ट प्रोफ़ाइल में उल्लेख किया गया है। यदि इसका उल्लेख नहीं है, तो स्पष्ट रूप से region_name . पास करें सत्र बनाते समय।
-
चरण 4: गोंद के लिए AWS क्लाइंट बनाएं।
-
चरण 5: एक पेजिनेटर बनाएं ऑब्जेक्ट जिसमें get_tables का उपयोग करके सभी तालिकाओं का विवरण होता है
-
चरण 5: पेजिनेट . को कॉल करें कार्य करें और database_name . पास करें डेटाबेसनाम के रूप में, max_items , पृष्ठ_आकार और शुरुआती_टोकन PaginationConfig . के रूप में
-
चरण 6: यह max_size . के आधार पर रिकॉर्ड की संख्या लौटाता है और पृष्ठ_आकार ।
-
चरण 7: अगर पेजिंग करते समय कुछ गलत हो जाता है तो सामान्य अपवाद को हैंडल करें।
उदाहरण कोड
उपयोगकर्ता खाते में बनाई गई सभी तालिकाओं के माध्यम से पृष्ठांकित करने के लिए निम्न कोड का उपयोग करें -
import boto3
from botocore.exceptions import ClientError
def paginate_through_tables(database_name, max_items=None:int,page_size=None:int, starting_token=None:string):
session = boto3.session.Session()
glue_client = session.client('glue')
try:
paginator = glue_client.get_paginator('get_tables')
response = paginator.paginate(DatabaseName=database_name, PaginationConfig={
'MaxItems':max_items,
'PageSize':page_size,
'StartingToken':starting_token}
)
return response
except ClientError as e:
raise Exception("boto3 client error in paginate_through_tables: " + e.__str__())
except Exception as e:
raise Exception("Unexpected error in paginate_through_tables: " + e.__str__())
a = paginate_through_tables("test_db",2,5)
print(*a) आउटपुट
{'TableList': [
{'Name': 'temp_table', 'DatabaseName': 'test_db', 'Owner': 'abc', 'CreateTime': datetime.datetime(2020, 9, 10, 20, 44, 29, tzinfo=tzlocal()), 'UpdateTime': datetime.datetime(2020, 9, 10, 20, 44, 29, tzinfo=tzlocal()), 'LastAccessTime': datetime.datetime(1970, 1, 1, 5, 30, tzinfo=tzlocal()), 'Retention': 0, 'StorageDescriptor':
{'Columns': [{'Name': 'keyname', 'Type': 'string', 'Comment': ''}, {'Name': 'amount', 'Type': 'string', 'Comment': ''}, {'Name': 'effectivedate', 'Type': 'string', 'Comment': ''}, {'Name': 'clientname', 'Type': 'string', 'Comment': ''}, {'Name': 'accoutname', 'Type': 'varchar(5)', 'Comment': ''}, {'Name': 'clientid', 'Type': 'varchar(6)', 'Comment': ''}], 'Location': 's3://test/', 'InputFormat': 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat', 'OutputFormat': 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat', 'Compressed': False, 'NumberOfBuckets': 0, 'SerdeInfo': {'Name': 'test', 'SerializationLibrary': 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe', 'Parameters': {}}, 'BucketColumns': [], 'SortColumns': [], 'Parameters': {}, 'StoredAsSubDirectories': False}, 'PartitionKeys': [], 'ViewOriginalText': '', 'ViewExpandedText': '', 'TableType': 'EXTERNAL_TABLE', 'Parameters': {'EXTERNAL': 'TRUE', 'has_encrypted_data': 'false', 'parquet.compression': 'SNAPPY'}, 'CreatedBy': 'arn:aws:sts::782258485841:assumed-role/IVZ-ADFS-NorthBayLead/[email protected]'},
{'Name': 'test_3', 'DatabaseName': 'test_db', 'Owner': 'abc', 'CreateTime': datetime.datetime(2020, 9, 10, 21, 54, 39, tzinfo=tzlocal()), 'UpdateTime': datetime.datetime(2020, 9, 10, 21, 54, 39, tzinfo=tzlocal()), 'LastAccessTime': datetime.datetime(1970, 1, 1, 5, 30, tzinfo=tzlocal()), 'Retention': 0, 'StorageDescriptor': {'Columns': [{'Name': 'keyname', 'Type': 'string', 'Comment': ''}, {'Name': 'amount', 'Type': 'string', 'Comment': ''}, {'Name': 'effectivedate', 'Type': 'string', 'Comment': ''}, {'Name': 'clientname', 'Type': 'string', 'Comment': ''}, {'Name': 'accoutname', 'Type': 'varchar(5)', 'Comment': ''}, {'Name': 'clientid', 'Type': 'varchar(6)', 'Comment': ''}], 'Location': 's3://test3/', 'InputFormat': 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat', 'OutputFormat': 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat', 'Compressed': False, 'NumberOfBuckets': 0, 'SerdeInfo': {'Name': test_3', 'SerializationLibrary': 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe', 'Parameters': {}}, 'BucketColumns': [], 'SortColumns': [], 'Parameters': {}, 'StoredAsSubDirectories': False}, 'PartitionKeys': [], 'ViewOriginalText': '', 'ViewExpandedText': '', 'TableType': 'EXTERNAL_TABLE', 'CreatedBy': 'arn:aws:sts::***********:assumed-role/abc'}], 'ResponseMetadata': {'RequestId': 'dd35e6c5-*********************1', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Fri, 02 Apr 2021 13:42:48 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '10301', 'connection': 'keep-alive', 'x-amzn-requestid': *******************}, 'RetryAttempts': 0}}