वेबपेज से डेटा निकालने के लिए डेटा-स्क्रैपिंग टूल का उपयोग कैसे करें

यदि आप वेबपेज से चीजों को कॉपी और पेस्ट कर रहे हैं और उन्हें मैन्युअल रूप से स्प्रेडशीट में डाल रहे हैं, तो आप या तो नहीं जानते कि डेटा स्क्रैपिंग (या वेब स्क्रैपिंग) क्या है, या आप जानते हैं कि यह क्या है लेकिन बस कुछ घंटों की क्लिकिंग बचाने के लिए कोड करना सीखने के विचार के प्रति उत्सुक नहीं हैं।

किसी भी तरह, बहुत सारे नो-कोड डेटा-स्क्रैपिंग टूल हैं जो आपकी मदद कर सकते हैं, और Data Miner का Chrome एक्सटेंशन अधिक सहज विकल्पों में से एक है। यदि आप भाग्यशाली हैं, तो आप जो कार्य करने की कोशिश कर रहे हैं वह पहले से ही टूल की रेसिपी बुक में शामिल होगा, और आपको पॉइंट-एंड-क्लिक चरणों से गुजरने की भी आवश्यकता नहीं होगी जो आपकी अपनी रेसिपी बनाने में शामिल हैं।

Data Miner कैसे काम करता है?

Data Miner आपको वेबपेज से डेटा प्राप्त करने और इसे अच्छी तरह से फॉर्मेटेड Excel/CSV फ़ाइलों में डालने में मदद करता है, उन पेजों के टेक्स्ट को देखकर जिन्हें आपने लोड किया है। इसका मतलब है कि आपको कम से कम HTML के साथ इतना सहज होना होगा कि आप कुछ पैटर्न पहचान सकें, लेकिन कुछ भी बहुत व्यापक नहीं। उन्नत HTML और/या JavaScript कौशल निश्चित रूप से कुछ कार्यों में मदद करेंगे लेकिन अधिकांश चीजों के लिए आवश्यक नहीं हैं। आपके पास कम से कम बुनियादी स्प्रेडशीट कौशल भी होने चाहिए ताकि आप सुनिश्चित कर सकें कि आपका आउटपुट साफ और संगठित है।

1. Data Miner सेट अप करें

Chrome या किसी अन्य Chromium ब्राउज़र का उपयोग करके, एक्सटेंशन इंस्टॉल करें। एक्सटेंशन का पिकएक्स आइकन आपके टूलबार में दिखाई देगा, और इस पर क्लिक करने से आप एक पेज पर पहुंच जाएंगे जहां आप एक अकाउंट सेट अप कर सकते हैं। मुफ्त संस्करण आपको प्रति माह 500 स्क्रैप देता है, जो शायद आपके लिए पर्याप्त है जब तक कि यह कुछ ऐसा न हो जो आप हर दिन करते हैं।

2. डेटा लोड करें

सबसे पहले, उस पेज पर नेविगेट करें जिससे आप डेटा निकालना चाहते हैं। यदि आपके पास डेटा के कई पेज हैं या उनमें से कुछ बटन के पीछे छिपे हुए हैं, तो यह ठीक है - इससे निपटने के तरीके हैं। अभी के लिए, आपको बस एक प्रतिनिधि नमूना चाहिए ताकि प्रोग्राम को पता चले कि क्या देखना है।

3. रेसिपी की जांच करें

इसके बाद, Data Miner खोलें और मौजूदा रेसिपी के लिए "Public" (सार्वजनिक) टैब देखें। यदि आप किसी लोकप्रिय साइट पर हैं, तो किसी और ने आपके द्वारा खोजे जा रहे डेटा को प्राप्त करने के लिए पहले ही एक प्रक्रिया बना ली होगी, जो आपको काफी समय बचा सकती है। Google, Amazon, और Twitter जैसी साइटों में, उदाहरण के लिए, लिंक, कीमतें, टेक्स्ट, और अन्य डेटा तुरंत डाउनलोड करने में आपकी सहायता के लिए बहुत सारी रेसिपी उपलब्ध हैं। आप "Run" (चलाएं) बटन पर क्लिक करके रेसिपी का परीक्षण कर सकते हैं यह देखने के लिए कि Data Miner द्वारा उत्पन्न स्प्रेडशीट का पूर्वावलोकन क्या है। आप "Edit" (संपादित करें) बटन दबाकर मौजूदा रेसिपी को अपनी आवश्यकताओं के अनुरूप भी बदल सकते हैं।

4. पेज प्रकार

ठीक है, तो आपके लिए कोई पूर्व-निर्मित रेसिपी काम नहीं आई। यह ठीक है, आप अपनी खुद की बना सकते हैं। शुरू करने के लिए बस "New Recipe" (नई रेसिपी) बटन पर क्लिक करें।

आपकी पहली पसंद "List Page" (सूची पृष्ठ) या "Detail Page" (विवरण पृष्ठ) होगी।

"List Page" चुनें यदि आप एक ही पेज से डेटा की कई पंक्तियाँ प्राप्त करने का प्रयास कर रहे हैं। उदाहरण के लिए, आप हर खोज परिणाम का लिंक और पेज शीर्षक डाउनलोड करना चाह सकते हैं या फीड में पोस्ट की तारीख और सामग्री प्राप्त करना चाह सकते हैं। यह शायद सबसे आम प्रकार है और हम यहां डेमो के रूप में इसका उपयोग करेंगे। (डिटेल पेज के चरण अनिवार्य रूप से समान हैं।)

"Detail Page" चुनें यदि आपके पास एक ही पेज पर एक चीज़ के बारे में बहुत सारी अलग-अलग जानकारी है - उदाहरण के लिए, एक उत्पाद पृष्ठ, जहां आपको उसकी कीमत, विवरण, लिंक, और रेटिंग को पकड़ने और इसे एक ही पंक्ति में डालने की आवश्यकता है।

चरण 5: अपनी पंक्तियाँ बनाएं

"Find" (ढूंढें) बटन दबाएं और अपने माउस को तब तक घुमाएं जब तक पीला चयन बॉक्स उस सभी डेटा को कवर न कर ले जिसकी आपको अपनी अंतिम स्प्रेडशीट में एकल प्रविष्टि के लिए आवश्यकता होगी। उदाहरण के लिए, यदि आप खोज परिणाम डाउनलोड कर रहे हैं तो आपको शीर्षक, URL, और विवरण को शामिल करने के लिए पर्याप्त बड़ा क्षेत्र हाइलाइट करना होगा, जिनमें से प्रत्येक को आप अगले चरण में अलग कॉलम में रख सकते हैं। अपना चयन करने के लिए Shift कुंजी दबाएं। चिंता न करें यदि आप गलती से क्लिक करते हैं; Data Miner आपके सभी रेसिपी प्रगति को सहेजता है भले ही आप पेज से दूर नेविगेट करें।

फिर आप "Element's Classes" (तत्व के वर्ग) या "HTML Element Type" (HTML तत्व प्रकार) अनुभाग में कम से कम एक बॉक्स की जांच करना चाहेंगे। आदर्श रूप से, आप चयन को पेज पर उस श्रेणी में हर तत्व को कवर करने के लिए दोहराते हुए देखेंगे जैसा कि आपने चुना था।

यदि आप पाते हैं कि चयनकर्ता आपकी ज़रूरत की हर चीज़ को कवर नहीं कर रहा है, तो बस तत्वों में से एक का चयन करने और "Select Parent" (मूल चुनें) दबाने का प्रयास करें। यह बॉक्स को बड़ा कर देगा और शायद वह सब कुछ कैप्चर कर लेगा जिसकी आपको आवश्यकता है। यदि नहीं, तो आपको HTML में थोड़ा खोदना पड़ सकता है और उन तत्वों के वर्गों और प्रकारों की पहचान करनी पड़ सकती है जिनकी आपको आवश्यकता है। संदेह होने पर, "Select Parent" तब तक दबाएं जब तक बॉक्स उतना बड़ा न हो जाए जितना वह एक से अधिक सूची प्रविष्टि को कवर किए बिना हो सकता है, क्योंकि यह आपको कॉलम चुनते समय अधिक लचीलापन देगा।

Data Miner आपको नीचे "View Element's HTML" (तत्व का HTML देखें) विकल्प देता है और आपको कस्टम चयनकर्ताओं में टाइप करने की भी अनुमति देता है। यदि आप कहना चाहते हैं, एक पेज पर "product" वर्ग के साथ सभी लिंक पकड़ें, तो आप बस a.product टाइप कर सकते हैं। यह वह जगह है जहां कुछ बुनियादी HTML/CSS ज्ञान वास्तव में काम आएगा।

एक बार जब आप मुख्य पंक्ति मेनू पर वापस आ जाते हैं, तो आपको "Row Count" (पंक्ति गणना) दिखाई देनी चाहिए जिसमें आपकी रेसिपी स्प्रेडशीट में बनाएगी प्रविष्टियों की संख्या होगी। यदि यह सब कुछ नहीं पकड़ रहा है, तो आपको अपने पंक्ति चयन की दोबारा जांच करनी होगी।

6. अपने डेटा को कॉलम में विभाजित करें

एक बार जब आप अपनी पंक्तियों के लिए सभी डेटा का चयन कर लेते हैं, तो इसे सब अच्छा दिखाने के लिए इसे अलग-अलग कॉलम श्रेणियों में विभाजित करने का समय आ गया है। यहां आपके द्वारा किया गया प्रत्येक चयन आपके द्वारा अपनी पंक्तियों के लिए चुने गए बॉक्स का एक सबसेक्शन होना चाहिए।

एक कॉलम बनाने के लिए, बस उसके लिए एक नाम टाइप करें और वही चुनने के लिए Find बटन का उपयोग करें जो आप निकालना चाहते हैं, ठीक वैसे ही जैसे आपने पंक्तियों के लिए किया था। सबसे आम डेटा शायद टेक्स्ट, URL, या इमेज URL होगा। टेक्स्ट लिंक पर होवर करके URL प्राप्त करना थोड़ा मुश्किल हो सकता है; आपको "select parent" तब तक दबाना पड़ सकता है जब तक आप उस स्तर पर न पहुंच जाएं जहां Element Type <a> है, जो लिंक के लिए HTML टैग है।

यह सुनिश्चित करने के लिए कि आपके कॉलम में सही प्रकार का डेटा है, बस प्रत्येक कॉलम के नाम के दाईं ओर आंख आइकन पर दबाएं, उस संख्या के बगल में जो आपको दिखाती है कि कितने कॉलम चुने गए हैं। यह आपको उस कॉलम के लिए हर पंक्ति प्रविष्टि का पूर्वावलोकन दिखाएगा। यदि कुछ गलत है, तो वापस जाएं और आपके द्वारा पंक्तियों की पहचान करने के लिए चुने गए टैग और प्रकारों को ठीक करें। उस डेटा से जुड़े पैटर्न की जांच के लिए HTML व्यूअर खोलने से न डरें जिसे आप हथियाने की कोशिश कर रहे हैं।

7. Data Miner को बताएं कि अगले पेज पर कैसे पहुंचें

यदि आपके पास निकालने के लिए डेटा के कई पेज हैं, तो आप शायद हर एक पर क्लिक करके और अपनी रेसिपी को बार-बार चलाकर नहीं करना चाहेंगे। इससे बचने के लिए, बस Data Miner को बताएं कि नेविगेशन बटन कहां ढूंढना है जिसे उसे अगले पेज पर जाने के लिए क्लिक करने की आवश्यकता है। "Page 2" (पेज 2) जैसी किसी चीज़ पर क्लिक करने के लिए इसे न बताएं, क्योंकि तब यह बस, वैसे, पेज 2 पर जाएगा। फिर से, सुनिश्चित करें कि आप <a> तत्व का चयन कर रहे हैं, और यह सुनिश्चित करने के लिए Test Navigation बटन का उपयोग करें कि यह काम कर रहा है।

8. Data Miner को बताएं कि डेटा लोड करने के लिए कहां क्लिक या स्क्रॉल करें

कुछ पेज डेटा लोड नहीं करते जब तक आप कुछ क्लिक नहीं करते या नीचे स्क्रॉल नहीं करते। सौभाग्य से, Data Miner ये चीजें भी कर सकता है! शीर्ष पर "Find" टूल का उपयोग करें (आपको अब तक इसमें काफी अच्छा होना चाहिए) उस तत्व का चयन करने के लिए जिसे आपको हेरफेर करने की आवश्यकता है, फिर चयनकर्ता को उपयुक्त बॉक्स में डालें और यह सुनिश्चित करने के लिए इसका परीक्षण करें कि यह काम करता है।

वास्तव में कौन सा चयनकर्ता तत्व या अनंत स्क्रॉलबार को सक्रिय करेगा, यह पता लगाना मुश्किल हो सकता है, लेकिन बुनियादी HTML ज्ञान और कुछ परीक्षण और त्रुटि आपको यहां काफी दूर ले जाएंगे। जिन चीजों को आपको यहां हेरफेर करने की आवश्यकता होगी उनमें से अधिकांश JavaScript-आधारित हैं, लेकिन Data Miner को केवल उस CSS चयनकर्ता को जानने की आवश्यकता है जो कार्रवाई को सक्रिय करने के लिए इससे जुड़ा हुआ है, इसलिए आपको ज्यादातर मामलों में किसी कोड के साथ गड़बड़ करने की आवश्यकता नहीं होनी चाहिए।

अगला चरण आपको कस्टम JS जोड़ने की अनुमति भी देता है ताकि आप बहुत कुछ कर सकें, लेकिन यह काफी उन्नत है और बुनियादी स्क्रैपिंग के लिए हमें जो चाहिए उससे आगे जाता है।

9. रेसिपी सेव करें और चलाएं

बधाई हो! अब यह देखने का समय है कि क्या यह सब एक साथ आया। जिस पेज पर आप हैं उस पर रेसिपी चलाएं और पूर्वावलोकन जांचें कि क्या आपकी पंक्तियां और कॉलम वही कर रहे हैं जो उन्हें करना चाहिए। यदि नहीं, तो आप वापस जाकर रेसिपी संपादित कर सकते हैं।

यदि सब कुछ वैसा ही व्यवहार कर रहा है जैसा होना चाहिए, तो आप "Next Page" (अगला पेज) बटन का उपयोग करके स्क्रैपर को बता सकते हैं कि उसे कितने पेज क्रॉल करने चाहिए और कितनी तेजी से जाना चाहिए। (बहुत तेजी से जाने से सिस्टम आपको बॉट के रूप में फ्लैग कर सकता है।)

एक बार जब आपको सभी आवश्यक डेटा मिल जाए, तो आप चुन सकते हैं कि आप इसे डाउनलोड करने के लिए किस फ़ाइल प्रारूप का उपयोग करना चाहेंगे।

मुझे परेशानी हो रही है; क्या कोई आसान तरीका है?

यदि Data Miner प्रोग्राम आपके लिए काम नहीं कर रहा है, तो बहुत सारे अन्य डेटा-स्क्रैपिंग टूल उपलब्ध हैं: ParseHub, Scraper, Octoparse, Import.io, VisualScraper, आदि। उनमें से कुछ में अधिक सहज इंटरफेस और अधिक स्वचालन हो सकते हैं, लेकिन आपको अभी भी कम से कम HTML के बारे में थोड़ा और वेब कैसे व्यवस्थित है, इसके बारे में जानने की आवश्यकता होगी। जो Data Miner को शुरुआती लोगों के लिए विशेष रूप से अच्छा बनाता है वह है इसकी क्राउडसोर्स्ड रेसिपी लाइब्रेरी, जो संभावित रूप से आपको कोड के साथ सबसे मामूली मुठभेड़ से भी बचने में मदद कर सकती है। वह, इसके काफी उदार मुफ्त मासिक स्क्रैप पैकेज के साथ मिलकर, इसे अधिकांश जरूरतों के लिए एक बहुत अच्छा टूल बनाता है।