एक सॉफ्टवेयर स्पाइडर क्या है?

एक 'सॉफ़्टवेयर स्पाइडर' एक खोज इंजन द्वारा संचालित एक मानव रहित प्रोग्राम है जो वेब पर वैसे ही सर्फ करता है जैसे आप करेंगे। जैसे ही यह प्रत्येक वेब साइट पर जाता है, यह प्रत्येक साइट पर सभी शब्दों को रिकॉर्ड करता है (अपनी हार्ड ड्राइव में सहेजता है) और प्रत्येक लिंक को अन्य साइटों के लिए नोट करता है। यह तब एक लिंक पर 'क्लिक' करता है, और इसे पढ़ने, इंडेक्स करने और दूसरी वेब साइट को स्टोर करने के लिए चला जाता है।

सॉफ़्टवेयर स्पाइडर अक्सर पढ़ता है और फिर प्रत्येक वेब साइट के संपूर्ण पाठ को उस खोज इंजन के मुख्य डेटाबेस में अनुक्रमित करता है जिसके लिए वह काम कर रहा है। हाल ही में अल्टाविस्टा जैसे कई इंजनों ने साइट के केवल एक निश्चित संख्या में पृष्ठों का अनुक्रमण करना शुरू किया है, अक्सर कुल मिलाकर लगभग 500, और फिर रुक जाते हैं। जाहिर है, ऐसा इसलिए है क्योंकि वेब इतना बड़ा हो गया है कि हर चीज को इंडेक्स करना संभव नहीं है। स्पाइडर कितने पेज इंडेक्स करेगा, इसका पूरी तरह से अनुमान नहीं लगाया जा सकता है। इसलिए, अपनी साइट के प्रत्येक महत्वपूर्ण पृष्ठ को विशेष रूप से सबमिट करना एक अच्छा विचार है जिसे आप अनुक्रमित करना चाहते हैं, जैसे कि वे जिनमें महत्वपूर्ण कीवर्ड हैं।

एक सॉफ्टवेयर स्पाइडर एक इलेक्ट्रॉनिक लाइब्रेरियन की तरह होता है जो दुनिया के हर पुस्तकालय में प्रत्येक पुस्तक की सामग्री की तालिका को काटता है, उन्हें एक विशाल मास्टर इंडेक्स में सॉर्ट करता है, और फिर एक इलेक्ट्रॉनिक ग्रंथ सूची बनाता है जो उन सूचनाओं को संग्रहीत करता है जिन पर पाठ अन्य ग्रंथों का संदर्भ देता है। कुछ सॉफ़्टवेयर स्पाइडर एक दिन में दस लाख से अधिक दस्तावेज़ों को अनुक्रमित कर सकते हैं! यह समझना महत्वपूर्ण है कि सर्च इंजन की मकड़ियाँ सिर्फ दो काम करती हैं:

वे पाठ को अनुक्रमित करते हैं।
वे लिंक का पालन करते हैं।

SearchEngineWatch.com द्वारा हाल ही में किए गए एक खोज इंजन रणनीति सम्मेलन में, अतिथि वक्ताओं में से एक, ग्रांटस्टिक डिज़ाइन के शैरी थुरो ने इस बिंदु को बनाया और इसके महत्व को स्पष्ट करने के लिए इसे कई बार दोहराया: 'खोज इंजन इंडेक्स टेक्स्ट और लिंक का पालन करें। वे पाठ को अनुक्रमित करते हैं, और वे लिंक का अनुसरण करते हैं। वे बस इतना ही करते हैं।'

उसकी बात महत्वपूर्ण है और खोज इंजन के मकड़ियों की प्रकृति को समझने के लिए केंद्रीय है। यदि आपकी वेब साइट का टेक्स्ट किसी ग्राफ़िक में समाहित है, तो खोज इंजन इसे अनुक्रमित नहीं कर सकते हैं। यदि आपके सभी महत्वपूर्ण कीवर्ड, जिनके लिए आप रैंकिंग प्राप्त करने की आशा रखते हैं, ग्राफिक्स में शामिल हैं, HTML टेक्स्ट में नहीं, तो आपकी साइट रैंकिंग प्राप्त नहीं करेगी। याद रखें, खोज इंजन चित्रों को अनुक्रमित नहीं करते हैं या चित्र नहीं पढ़ते हैं, वे पाठ को अनुक्रमित करते हैं और लिंक का अनुसरण करते हैं। बस इतना ही। यदि आपके देखने योग्य पृष्ठ पर कोई टेक्स्ट नहीं है, तो आपके कीवर्ड मेटाटैग में कोई भी कीवर्ड आपको रैंकिंग प्राप्त करने में मदद नहीं करेगा।

आपकी साइट पर स्पाइडर जो देखता है वह निर्धारित करेगा कि आपकी साइट उसकी अनुक्रमणिका में कैसे सूचीबद्ध है। खोज इंजन एक जटिल स्कोरिंग प्रणाली के आधार पर साइट की प्रासंगिकता निर्धारित करते हैं जिसे खोज इंजन गुप्त रखने का प्रयास करते हैं। यह प्रणाली ऐसी चीजों के आधार पर अंक जोड़ती या घटाती है जैसे पृष्ठ पर कीवर्ड कितनी बार दिखाई दिया, पृष्ठ पर कहां दिखाई दिया, और कुल कितने शब्द पाए गए। सबसे अधिक अंक प्राप्त करने वाले पृष्ठ खोज परिणामों के शीर्ष पर लौटाए जाते हैं; बाकी सब नीचे दबे हुए हैं, कभी नहीं मिलेंगे।

जैसे ही एक सॉफ़्टवेयर स्पाइडर आपकी साइट पर जाता है, यह आपके पृष्ठ पर अन्य साइटों के किसी भी लिंक को नोट करता है। किसी भी सर्च इंजन के विशाल डेटाबेस में साइटों के बीच सभी लिंक दर्ज होते हैं। खोज इंजन जानता है कि आपने किन साइटों से लिंक किया है, और इससे भी महत्वपूर्ण बात यह है कि किन साइटों ने आपसे लिंक किया है। कई इंजन लोकप्रियता के संकेत के रूप में आपकी साइट के लिंक की संख्या का भी उपयोग करेंगे, और फिर इस कारक के आधार पर आपकी रैंकिंग को बढ़ावा देंगे।