Untuk memulai posting ini, ada baiknya dengan memahami program yang di gunakan Google untuk melakukan spider dan crawl terhadap sebuah situs, program tersebut umumnya dikenal dengan BOT, ia adalah program yang melakukan crawl sebuah situs atau halaman situs secara rutin atau sering, tergantung popularitas sebuah situs.

Bot Google terbagi di bagi menjadi 3:

1. Adsense bot

2. FreshBot

3. DeepCrawl Bot

Bot Adsense, dari namanya kita sudah mendapat gambaran bahwa bot ini mempunyai kaitan dengan Adsense, ia di tugaskan untuk mempelajari dan akhirnya mengidentifikasi halaman dari situs publisher Adsense melalui pesan dari Kode Javascript yang terintegrasi di dalam kode Adsense yang kita letakan di template, tujuannya agar iklan Adsense yang tampil relevant dengan niche dan konten blog si publisher.

Freshbot, adalah bot yang paling aktif di antara bot yang lain, ia secara rutin mengunjungi sebuah blog untuk meng-crawl halaman dan halaman yang paling popular. Berapapun jumlah halaman blog tersebut. Namun besaran frekuensi kunjungan Freshbot tidak terlepas dari faktor popularitas sebuah blog/website, tentu saja semakin popular sebuah web maka semakin sering freshbot bertandang. Situs berita seperti BBC, CNN atau situs Marketplace Online seperti Ebay.com, Amazon.com di crawl dalam hitungan menit (biasanya 10 menit sekali) setiap harinya.

Setiap blog yang sudah cukup lama online, umumnya mempunyai apa yang disebut dengan Deeper Links, nah ketika Freshbot menemukan mereka saat berkunjung, ia akan menempatkan deeper link dalam daftar antri (Queue) menunggu hingga Deepcrawl beraksi.

DeepCrawl bot bot ini di atur untuk melakukan crawl tiap satu bulan sekali, sebelum ia beraksi, ia terlebih dahulu mengecek semua deeper link yang telah ngantri di database, lalu ia menggunakannya sebagai refrensi saat meng-crawl sebuah blog. di karenakan, ia di program untuk melakukan kunjungan tiap satu bulan sekali, maka diperlukan waktu satu bulan agar seluruh konten blog kita terindeks. Dan update Pagerank sebuah blog/halamannya erat kaitannya dengan kedatangan Deepcrawlbot.

Bagaimana mengenali/mengetahui kedatangan freshbot dan deepcrawl bot:

Untuk mengenalinya tentu saja melalui IP Address, biasanya IP address freshbot dimulai dengan 64, dan Deepcrawlbot dimulai dengan 216. Dan keseluruhan bentuk ipnya seperti ini:

Freshbot IP:

• 64.208.32.4.
• 64.68.82.0-255
• 64.68.82.47

Deepcrawlbot IP:

• 216.239.45.4
• 216.239.46.0-255
  
• 216.239.46.53
  

Jadi saat anda melihat ip address di awali dengan 216 rawa-riwi di blog anda. Maka siap-siap karena Google akan “berdansa” (Google dance), untuk mengkalkulasi ulang PR, Backlinks dan rangking kemunculan blog anda di SERP, yang hasil dari semua kalkulasi tersebut adalah UPDATE PAGERANK!

Di terjemahkan dari: How does Google index a blog or site.