Bot Google terbagi di bagi menjadi 3:

1. Adsense bot

2. FreshBot

3. DeepCrawl Bot

Bot Adsense, dari namanya kita sudah mendapat gambaran bahwa bot ini mempunyai kaitan dengan Adsense, ia di tugaskan untuk mempelajari dan akhirnya mengidentifikasi halaman dari situs publisher Adsense melalui pesan dari Kode Javascript yang terintegrasi di dalam kode Adsense yang kita letakan di template, tujuannya agar iklan Adsense yang tampil relevant dengan niche dan konten blog si publisher.

Freshbot, adalah bot yang paling aktif di antara bot yang lain, ia secara rutin mengunjungi sebuah blog untuk meng-crawl halaman dan halaman yang paling popular. Berapapun jumlah halaman blog tersebut. Namun besaran frekuensi kunjungan Freshbot tidak terlepas dari faktor popularitas sebuah blog/website, tentu saja semakin popular sebuah web maka semakin sering freshbot bertandang. Situs berita seperti BBC, CNN atau situs Marketplace Online seperti Ebay.com, Amazon.com di crawl dalam hitungan menit (biasanya 10 menit sekali) setiap harinya.

Setiap blog yang sudah cukup lama online, umumnya mempunyai apa yang disebut dengan Deeper Links, nah ketika Freshbot menemukan mereka saat berkunjung, ia akan menempatkan deeper link dalam daftar antri (Queue) menunggu hingga Deepcrawl beraksi.

DeepCrawl bot bot ini di atur untuk melakukan crawl tiap satu bulan sekali, sebelum ia beraksi, ia terlebih dahulu mengecek semua deeper link yang telah ngantri di database, lalu ia menggunakannya sebagai refrensi saat meng-crawl sebuah blog. di karenakan, ia di program untuk melakukan kunjungan tiap satu bulan sekali, maka diperlukan waktu satu bulan agar seluruh konten blog kita terindeks. Dan update Pagerank sebuah blog/halamannya erat kaitannya dengan kedatangan Deepcrawlbot.

Bagaimana mengenali/mengetahui kedatangan freshbot dan deepcrawl bot:

Untuk mengenalinya tentu saja melalui IP Address, biasanya IP address freshbot dimulai dengan 64, dan Deepcrawlbot dimulai dengan 216. Dan keseluruhan bentuk ipnya seperti ini:

Freshbot IP:

• 64.208.32.4.
• 64.68.82.0-255
• 64.68.82.47

Deepcrawlbot IP:

• 216.239.45.4
• 216.239.46.0-255
  
• 216.239.46.53
  

Jadi saat anda melihat ip address di awali dengan 216 rawa-riwi di blog anda. Maka siap-siap karena Google akan “berdansa” (Google dance), untuk mengkalkulasi ulang PR, Backlinks dan rangking kemunculan blog anda di SERP, yang hasil dari semua kalkulasi tersebut adalah UPDATE PAGERANK!

Di terjemahkan dari: How does Google index a blog or site.

Karena Google dan Yahoo jelas-jelas mengumumkan bahwa blog yang di daftarkan akan terindeks setelah 6 atau 8 minggu (saya lupa spesifiknya berapa). Anda mau menunggu selama itu? Saya sih gak mau, karena dalam waktu selama itu tentu banyak yang bisa kita lakukan dari pada menunggu blog untuk terindeks.

Memang mereka tidak salah, kan memang tema posting-nya mengenai “cara terindeks Google dan Yahoo”, jadi men-submit ke ke 2 situs tersebut memang caranya. Namun bukan cara yang cepat. Saya punya banyak blog, dan semuanya terindeks di Yahoo pula Google, tanpa pernah saya mensubmit ke Google.com atau Yahoo.com, namun setiap saya meluncurkan blog baru saya menaruh linknya ke blog saya yang telah terindeks, kemudian tunggu saja 2,3 atau 4 hari kemudian pasti blog baru tersebut terindeks di Google. Jadi cara tercepat ialah melakukan tukeran link dan link satu arah, bukan dengan cara submit ke situs Google atau Yahoo.

Lalu kenapa menaruh link satu arah dan tukeran link lebih cepat dari pada submit langsung ke Google?

Untuk menjawabnya saya punya ilustrasi begini, jika anda saya perkenalkan ke teman saya, pastilah teman saya akan menyambut anda dengan ramah dan memberi perhatian kepada anda, karena dimatanya anda adalah teman saya, sehingga ia percaya bahwa anda orang baik-baik, karena teman saya percaya dengan saya. Lain halnya, jika anda sendiri memperkenalkan diri (tanpa saya), tentunya teman saya akan terkejut dan menunjukkan sikap waspada.

Begitupun reaksi Google disaat menerima blog yang muncul dihadapannya melalui submit langsung disitusnya. Google akan melihat blog tersebut dengan waspada dan menimbang apakah blog anda pantas untuk masuk ke databasenya. Lain halnya, jika blog baru anda di “bawa” oleh blog yang Google telah kenal (yang telah terindeks) maka Google akan dengan mudah mempercayainya dan mengindeksnya.

Begitulah kira-kira kenapa tukeran link dan link satu arah membuat blog lebih cepat terindeks daripada men-submit langsung ke situs Google.com dan Yahoo.com.

Semoga bermanfaat.