एक फोकस्ड वेब क्रॉलर एक हाइपरटेक्स्ट सिस्टम है जो वेब के अपेक्षाकृत संकीर्ण खंड को परिभाषित करने वाले विषयों के एक निश्चित सेट पर पेजों की जांच, अधिग्रहण, इंडेक्स, और समर्थन करता है। इसे हार्डवेयर और वेब संसाधनों में बहुत छोटे निवेश की आवश्यकता होती है और फिर भी एक त्वरित दर पर सम्मानजनक कवरेज का प्रबंधन करता है, केवल इसलिए क्योंकि करने के लिए अपेक्षाकृत कम है।
फोकस्ड वेब क्रॉलर एक क्लासिफायर द्वारा संचालित होता है जो एक विषय टैक्सोनॉमी में एम्बेडेड उदाहरणों से प्रासंगिकता की पहचान करना सीखता है, और एक डिस्टिलर जो इंटरनेट पर विषयगत सहूलियत बिंदुओं को पहचानता है।
फोकस्ड वेब क्रॉलर एक लक्ष्य विषय के लिए विशिष्ट वेब पेजों को क्रॉल करने के लिए वर्टिकल सर्च इंजन का उपयोग करते हैं। प्रत्येक प्राप्त पेज को पूर्वनिर्धारित लक्ष्य विषय(विषयों) में वर्गीकृत किया जाता है। यदि पेज को ऑन-टॉपिक होने की भविष्यवाणी की जाती है, तो इसके लिंक निकाले जाते हैं और URL कतार में जोड़े जाते हैं।
अन्यथा, क्रॉलिंग प्रक्रिया इस पेज से आगे नहीं बढ़ती। इस प्रकार के फोकस्ड वेब क्रॉलर को "पूर्ण-पृष्ठ" फोकस्ड वेब क्रॉलर के रूप में जाना जाता है क्योंकि यह पूर्ण पेज सामग्री को वर्गीकृत करता है। दूसरे शब्दों में, पेज पर सभी कनेक्शन का संदर्भ पूर्ण पेज सामग्री ही है।
इस प्रकार का वेब क्रॉलर इंडेक्सिंग को अधिक प्रभावी बनाता है, सीधे वर्ल्ड वाइड वेब के विशाल भंडार से डेटा की त्वरित और अधिक प्रासंगिक पुनर्प्राप्ति की बुनियादी आवश्यकता को प्राप्त करने में मदद करता है। कई खोज इंजनों ने उपयोगकर्ताओं को वेब सामग्री बनाते समय अधिक समृद्ध अनुभव प्रदान करने के लिए इस पद्धति का उपयोग करना शुरू कर दिया है, जिससे सीधे उनकी हिट संख्या बढ़ रही है।
क्रॉलर मैनेजर हाइपरटेक्स्ट एनालाइजर के बाद सिस्टम का एक महत्वपूर्ण तत्व है। यह घटक ग्लोबल वेब से फ़ाइलें डाउनलोड करता है। URL रिपॉजिटरी में URLs को पुनर्प्राप्त किया जाता है और क्रॉलर मैनेजर में बफर में बनाया जाता है।
URL बफर एक प्राथमिकता कतार है। URL बफर के आकार के आधार पर, क्रॉलर मैनेजर क्रॉलर्स के लिए एक इंस्टेंस गतिशील रूप से बनाता है, जो फ़ाइलें डाउनलोड करेंगे। अधिक प्रभावशीलता के लिए, क्रॉलर मैनेजर एक क्रॉलर पूल उत्पन्न कर सकता है। मैनेजर क्रॉलर्स की गति को सीमित करने और उनके बीच लोड संतुलन के लिए भी जवाबदेह है। यह क्रॉलर्स का निरीक्षण करके पूरा किया जाता है।
क्रॉलर एक मल्टी-थ्रेड जावा कोड है, जो इंटरनेट से वेब पेज डाउनलोड करने और डॉक्यूमेंट रिपॉजिटरी में फ़ाइलों को सहेजने के लिए पर्याप्त है। प्रत्येक क्रॉलर की अपनी कतार होती है, जो क्रॉल की जाने वाली URLs की फ़ाइल को प्रभावित करती है। क्रॉलर कतार से URL पुनर्प्राप्त करता है।
विभिन्न क्रॉलर्स का एक ही सर्वर पर अनुरोध साझा होगा। यदि हां, तो समान सर्वर पर अनुरोध भेजने का परिणाम सर्वर को ओवरलोड करने में होगा। सर्वर उस अनुरोध को पूरा करने में सक्रिय है जो उन क्रॉलर्स से प्रकट होना है जिन्होंने अनुरोध साझा किया है और प्रतिक्रिया की प्रतीक्षा कर रहे हैं।
