फोकस्ड वेब क्रॉलर के घटक क्या हैं?

फोकस्ड वेब क्रॉलर के विभिन्न घटक निम्नलिखित हैं:

घटक

सीड डिटेक्टर (Seed Detector)

सीड डिटेक्टर की सेवा निश्चित कीवर्ड के लिए पहले n URL लाकर सीड URL तय करना है। सीड पेज की पहचान की जाती है और पेजरैंक एल्गोरिदम या हिट्स एल्गोरिदम या उसके समान एल्गोरिदम के आधार पर प्राथमिकता दी जाती है।

क्रॉलर मैनेजर (Crawler Manager)

क्रॉलर मैनेजर हाइपरटेक्स्ट एनालाइजर के बाद सिस्टम का एक आवश्यक घटक है। यह घटक ग्लोबल वेब से फ़ाइलें डाउनलोड करता है। URL रिपॉजिटरी में URLs को पुनर्प्राप्त किया जाता है और क्रॉलर मैनेजर में बफर में बनाया जाता है।

URL बफर एक प्राथमिकता कतार है। URL बफर के आकार के आधार पर, क्रॉलर मैनेजर क्रॉलर्स के लिए एक इंस्टेंस गतिशील रूप से बनाता है, जो फ़ाइलें डाउनलोड करेंगे।

अधिक प्रभावशीलता के लिए, क्रॉलर मैनेजर एक क्रॉलर पूल उत्पन्न कर सकता है। मैनेजर क्रॉलर्स की गति को सीमित करने और उनके बीच लोड संतुलन के लिए भी जवाबदेह है। यह क्रॉलर्स का निरीक्षण करके पूरा किया जाता है।

क्रॉलर (Crawler)

क्रॉलर एक मल्टी-थ्रेड जावा कोड है, जो वेब से वेब पेज डाउनलोड करने और डॉक्यूमेंट रिपॉजिटरी में फ़ाइलों को सहेजने के लिए पर्याप्त है। प्रत्येक क्रॉलर की अपनी कतार होती है, जो क्रॉल किए जाने वाले URLs की सूची को प्रभावित करती है। क्रॉलर कतार से URL पुनर्प्राप्त करता है।

विभिन्न क्रॉलर्स का एक समान सर्वर पर अनुरोध साझा होगा। इसलिए समान सर्वर पर अनुरोध भेजने से सर्वर ओवरलोड होगा। सर्वर उस अनुरोध को पूरा करने में सक्रिय है जो उन क्रॉलर्स से प्रकट होना है जिन्होंने अनुरोध साझा किया है और प्रतिक्रिया की प्रतीक्षा कर रहे हैं।

सर्वर को सिंक्रनाइज़ किया गया है। यदि URL के लिए अनुरोध पहले साझा नहीं किया गया है, तो अनुरोध HTTP संरचना को अग्रेषित किया जाता है। यह प्रदान करता है कि क्रॉलर कुछ सर्वरों को ओवरलोड न करे।

लिंक एक्सट्रैक्टर (Link Extractor)

लिंक एक्सट्रैक्टर डॉक्यूमेंट रिपॉजिटरी में मौजूद फ़ाइलों से कनेक्शन प्राप्त करता है। घटक URL के URL पुनर्प्राप्त में होने की जांच करता है। यदि नहीं मिला, तो हाइपरलिंक से पहले और बाद का आसपास का टेक्स्ट, वह हेडिंग या सब-हेडिंग जिसके तहत कनेक्शन मौजूद है, निकाले जाते हैं।

हाइपरटेक्स्ट एनालाइजर (Hypertext Analyzer)

हाइपरटेक्स्ट एनालाइजर लिंक एक्सट्रैक्टर से कीवर्ड प्राप्त करता है और टैक्सोनॉमी पदानुक्रम को परिभाषित करने वाले खोज कीवर्ड के साथ विधियों की प्रासंगिकता की खोज करता है।

HTTP प्रोटोकॉल मॉड्यूल (HTTP Protocol Module)

HTTP प्रोटोकॉल मॉड्यूल उन फ़ाइलों के लिए अनुरोध साझा करता है जिनके URL को कतार से स्वीकार किया गया है। दस्तावेज़ प्राप्त होने पर, डाउनलोड किए गए दस्तावेज़ का URL टाइमस्टैम्प के साथ URL प्राप्त में संग्रहीत किया जाता है और दस्तावेज़ डॉक्यूमेंट रिपॉजिटरी में संग्रहीत किया जाता है।