bugün

google'un web sitelerini kendi arşivine katıp, arama sonuçlarında çıkması için, sürekli web sitelerinde dolaşan crawler yada örümcek diye tarif edilen gezici aracı. internetteki bütün siteleri dolaşarak yeni açılmış siteleri indexler, mevcut sitelerinde son hallerini alır. bir sitede google bot'un gezinmesi hayra alamettir. o sitenin google'da çıkacağının göstergesidir. google bot berekettir.
hergün sözlüğümüze uğramasına rağmen, çayı ya şekerli, ya da demli veriyoruz ki beğenmiyor herhalde.. veya bizler bir yerde yanlış yapıyor olabilir miyiz acaba? çünkü halen google' da yokuz.

burdan google bot' a sesleniyorum, lütfen bizi de sayfalarına taşı. bizi de indexle, indexle ki yurdum insanı sözlük görsün..
spider adı verilen mekanizma. calisma sistemi girilen sitedeki tum linkleri takip eder boylece hic durmaz. ornegin a sitesine girdi yapacagi ilk is a.com sayfasini verilerine kaydeder ardindan a.com/link.html gibi linkleri takip eder ve en sonunda bu sitenin dışarı verdigi linkleri takip ederek bitmeyen bir sarmala girer.
robot.txt dosyasını inceleyen bir örümcektir, sayfada ne varsa inceleyip kaçar gider. robot.txt dosyası eğer mevcut değilse sitemap'leri inceler. google'da üst sıralara çıkmak için bu botun uğramasını beklersiniz. çok yavşak bir bot olduğu için meta taglarını üslubunca yazmamız şarttır.