זחילה (crawling) של מנועי חיפוש – חייהם הנסתרים והדינאמיים של זחלני מנועי החיפוש
זחלני חיפוש הם תוכנות מחשב אשר סורקות באופן תדיר את רשת האינטרנט, ונותנות תמונת מצב עדכנית של אתרים בעיקר עבור מנועי חיפוש, אך לא רק. לזחלנים יש שמות רבים: רובוט חיפוש, בוט (bot), עכבישים, זחלני רשת (crawlers) ועוד. זחלן החיפוש של גוגל נקרא Googlebot.
הזחלנים, במיוחד אלו של גוגל מעדיפים אתרי תוכן שיש בהם מבנה שיטתי המבוסס על קטגוריות תוכן, תגיות נושא (tagging & keywords) ומפות XML. אתר תוכן שדואג לתייג כל פריט מידע בקטגורייה ברורה, ברשימת תגיות/מילות מפתח יקבל עדיפות בביקורים השוטפים ובמקרים רבים גם בהצגת התוצאות הרלבנטיות בחיפוש עצמו.
גם למנוע החיפוש בינג של מיקרוסופט יש זחלן ייעודי הידוע בשם Bingbot. הוא פחות מתוחכם מאשר הזחלן של גוגל אבל הוא הולך ומשפר כל הזמן את יכולות הלמידה שלו, בעיקר לגבי תמונות וחומרים ויזואליים, ולכן בחיפוש תמונות אנו נוטים יותר להשתמש בבינג וגם ביאהו ופחות בגוגל.
ראו גם:
מדד המעורבות (engagement) של פייסבוק – כיצד הוא נקבע ומדוע הוא חשוב?
תודה רבה גוגל