Usaha Saya Melarang Google Untuk Tidak Mengindex Feed Dan Halaman Yang Tidak Diperlukan Dengan Robot.txt Dan Rel=Nofollow

May 25, 200840 komen

2 hari lalu saya dikejutkan oleh banyaknya halaman feed blog ini yang terindex dan tampil di hasil pencaharian Google. Anehnya halaman-halaman feed itu posisinya malah lebih bagus dibanding posting, bahkan yang tampil malah halaman feed bukannya posting. Tentu ini merugikan bagi blog saya karena halaman posting saya tidak mendapat kredit dari Google. Sedangkan pencari informasi pun tidak akan mungkin mengklik halaman feed jika mereka tahu. Disaat saya mencoba mencari salah satu judul posting blog ini “kolom komentar disetiap posting blogger“, malah ini tampilan yang saya dapat:

Seperti kita lihat sendiri pada gambar diatas, seharusnya halaman posting saya yang tampil yaitu: Kolom Komentar Disetiap Posting Blogger. Dan ini sangat tidak menguntungkan buat blog saya, karena halaman feed terhitung sebagai ”duplicate content” karena isinya sama dengan posting aslinya. Dan saya tidak ingin posting saya mendapat label “duplicate content” imbasnya halaman-halaman blog ini tidak mungkin mendapat rangking bagus di hasil pencaharian.

Singkat cerita saya gunakan plugin the link KB Robots.txt untuk membereskan masalah ini. Setelah saya install dan aktifkan plugin ini, kemudian saya ke “setting” lalu saya isikan file robot.txt dilembar putih plugin KB Robot.txt untuk melarang Google dan search engines lainnya agar tidak meng-index halaman feed blog ini. File robot.txt yang saya isi kemarin seperti ini:

User-agent: *
Disallow: /feed/
Disallow: /*/feed/
Disallow: /*/feed/rss/
Disallow: /*/feed/atom/
Disallow: /trackback/

User-agent: *
Disallow: /archives/

User-agent: *
Disallow: /blog/wp-login.php/

Saya tidak hanya melarang Google untuk mengindex feed, namun juga arsip, dan wp login.

Dan untuk lebih terkuncinya akses menuju feed, saya pun menutup jalur bagi search engines untuk tidak mengindex halaman Feedburner saya, dengan men seting non-index pada account saya di feedburner.com, seperti gambar berikut:

Menu diatas saya temui seteleh memilih Publicize lalu NoIndex. Dan sebagai sentuhan akhir, saya menambahkan atribut rel=”nofollow di url Feedburner saya, seperti ini:

http://feeds.feedburner.com/feedtitle” target=”_blank” rel=”nofollow

Moga-moga setelah usaha-usaha diatas Google tidak lagi mengindex halaman-halaman yang tidak perlu diblog saya ini. Gimana rekan-rekan ada masukan?

SEO
  • http://inetbuzz.com Fachia

    Wah mantab mas tips nya, btw beberapa saat tadi saya akses blog ini koq 400 internal server error, knpa ya mas..?

    Kaya’nya perlu juga nih pasang robot.txt biar gak dianggep duplicate content. Trims mas..

  • http://chodirin.or.id chodirin

    belum memperhatikan sampai sedalam itu

  • http://harry99.info persikers

    waduw bisa diaangap duplikat konten ya..perlu dicoba nih..terimakasih tipsnya mas

  • http://ichaawe.blogspot.com ichaawe

    sama kayak komennya facia diatas…

    “Wah mantab mas tips nya, btw beberapa saat tadi saya akses blog ini koq 400 internal server error, knpa ya mas..? ”

    napa yah bi??? itu kmaren …sama kek gitu jg

  • http://mcmunny.blogspot.com Ellias McMunny

    Bukannya Google bisa menentukan feed blog sebagai feed, bi? maksudnya ya bukan Suplemental Result gitu..

    yaaah mungkin kecuali feedburner ya… hehe..

    Tapi memang sih… Feeds itu pisau bermata dua… hohoho… satunya bisa bikin reader bertambah, tapi disisi lain mengurangi chance pendapatan dari iklan (apalagi PPC).

    Jadi gimana dong???

  • http://web-directory.blogspot.com/ ArahMan7

    Assalaamualaikumusalam wrt.wbt.

    Bagus sekali post Abi yang ini. Mau juga saya meimplikasikan cara ini kedalam blog saya. Sama kah caranya kalau dibuat dengan Blog*Spot?

    Terima kasih komen Abi diblog saya, My Journey To Recovery. Jemput singgah lagi.

    Salam mesra dari Malaysia.

  • http://eucalyptusstories.blogspot.com Eucalyptus

    huhu, kok saya gak ngerti apa2 ya? waduh…. malu juga neh…

  • http://mxyzptc.blogspot.com mxyzplk

    I see… efek feed burner kah? tp gmn klo feed burnernya disisipin ppc?

  • http://michaelmajolivan.blogspot.com mike

    gilee!!!
    mantabh mas…
    top!!
    sama kyk bunda eucalyptus,mike jg jd malu ga ngerti apa2..hehehehe…tambah ilmu lg neh!!!
    ^^,

  • http://www.jimmysun.net jimmy

    si robot.txt ini memang bikin bingung, dan saya coba lihat situs2 terkenal milik para sleb blog koq malah gak ada robot.txt nya ya? tambah bingung aja mau bikin file robot ini..

  • Abi Bakar

    @fachia, ichaawee, iya memang suka keluar 500 internal server error, ini dari servernya. gpp kalau ketemu kek gini refresh aja browsernya.

    @chodirin, ok bro

    @persikers iya bro, yang saya baca memang kalau halaman feed tergolong duplicate content dari termasuk suplemental result

    @mcmunny, engga bro. blogger2x pasti akan mengunci halaman feed dari indeks search engine, slain sbagai duplicate content ia juga tampil di hasil halaman pencarian

    @arahman, waalikum sallam wr wb bro, semua cara diatas bisa dipraktekan di blogspot kecuali plugin robot.txt hanya untuk wordpress.

    @myz, karena saya ga ikutan bisnis feedburner ppc jadi saya tutup akses ke feedburner, tapi cara ini bukan hanya tuk feedburner namun feed default wordpress juga.

    @eucaliptus dan mike, iya saya juga tadinya ora mudeng, ini aja coba2x hehehe

    @jimmy, memang ada yng make ada yang engga, namun biasanya blog2x itu tidak menyediakan/mendelete feed untuk subscribe comment. dan coba aja jimmy cek ke google search ada gak halaman feed yang muncul.

  • http://www.nyem.or.id adit

    malem mas.. wah menarik juga ne main robot.txt, btw itu feedburner kan buah karya dari om google, jadi wajar aja om google mengambil keuntungan dari feedburner :)

  • http://www.putraeka.org Putra eka

    Kalo ga salah file robots.txt bisa di pake di blogspot ya mas Abi, tau ga caranya gimana soalnya ada beberapa blog saya yang kontennya di blog via robots.txt

    Btw mas Abi tukeran link boleh ga? Hehehe

  • http://www.info-baru.com Eko Priyanto

    Aku juga heran mas abi, kemare-kemaren aku ga bisa akses ke blog ini…!! ga tahu kenapa, katanya “Can’t Find Server”. Syukur deh sekarang sudah bisa lagi, dan siap memberikan komentarnya lagi he..he..

  • http://www.kampoengjogja.blogspot.com dinire

    maaf ya mas abibakar, kemaren ndak sempet update blog nihh, soalnya lagi belajar seriusss heheee. trus aku dah posting lagi nihhh tenyang hasil belajarku

  • http://www.thebozz.wordpress.com bozz

    mas, ilmu saya belon memadai bwat ngasih masukan…hihi…btw, site saya yang dikasih sama hyperwebenable juga sering 500 internal server error…saya sih positif thinking aja, namanya juga gratisan…hihi

  • http://berbahagialah.wordpress.com Alex

    ass.

    ada trouble mas Abi ?

    wah….pasti ngganggu dong mas..

  • http://www.kuebasah.com Diah

    Wah tq jurus saktinya mas , bisa di coba….
    Soalnya masalhnay hampir sama denganku.mau mulai darimana nggak ngerti :)

  • http://noveerasjid.blogspot.com novee

    sebenernya saya ga ngerti siy.. ruginya dimana, untung nya dimana..
    yg saya tau, sejak pk feedjit saya jd hobi liat2 trafic nya..
    sumpah! narsis banget! sampe kadar girang nya ituh yg kl divisualisasikan mode loncat-loncat plus guling2.. parah!
    masalahnya sy liat banyak yg nemu blog saya dr search di google ato yahoo. pas sy klik, posisinya tuh ada di halaman 1 yg ga jarang di daftar nomor 1 juga..
    hihiii.. ga ngerti niy, ini merugikan ato menguntungkan bagi blog saya kah..? secara ga mengarah ke koment tp langsung ke postingan..
    nah kl kaya gini gimana Bi.. *garuk2 walo ga gatel*

  • http://michaelmajolivan.blogspot.com mike

    mas abi,
    tips kemaren udah mike praktekkan dan berhasil!!!
    tp mesti ganti layout.jd skarang lg syukuran krn punya rumah baru…hehehehe…mas abi dikirimin nasi tumpeng deh! ;D
    trims ya,mas..

  • http://michaelmajolivan.blogspot.com mike

    btw,mas..namanya jg rumah baru,masih berantakan..hihihi..

  • yUdHa

    Wah, blognya sangat bagus dan isinya sangat bermanfaat. Ijin membaca dan berlangganan via email ya mas. Pasti saya akan sering2 mampir ke sini :)

  • http://syairsyiar.blogspot.com raka

    SEO tips neh…
    btw mas, memang duplikat content membuat nilai original postnya jadi mengecil, tetapi bukannya kalo feed yang keindeks bukannya bisa jadi iklan buat ke site asli kita?

  • Abi Bakar

    @adit, yup Feedburner memang punya Google

    @putra eka, kalau buat blogspot gak ada tuh mas, tukeran link? oke siiip

    @eko priyanto, iya servernya memang belum stabil mungkin karena masih baru, jadi masih berbenah diri:d

    @dinire, siiip din saya kunjungi blognya

    @bozz, yoi bro namanya jg barang gratisan, memang beresiko…hehehe

    @alex, waalikum sallam wr wb, iya bro

    @diah, iya nih, saya juga masih dalam tahap belajar untuk masalah ini, dan kalau ada rekan yang bisa kasih masukan silahkan.

    @novee, bagus tuh kalau posisinya bagus di search engine, dan memang blog novee usianya sudah senior jadi Google menaruh kepercayaan.

    @mike, siiip selamat untuk rumah barunya, saya sudah berkunjung loh….keren

    @yudha silahkan bro

    @feed, tapi saya maunya yang ke index hanya postingan bukan feed.

  • http://rosyidi.com/ Rosyidi

    Kalo aku sih gak pake feedburner. Masih belom tau kelebihannya apa.
    Kalo melarang google dengan disallow, dulu dah sering aku coba, en efektif :)

  • http://bjm.promo.web.id iklan gratis

    ooooooooooooo gitu ya ceritanya i see

  • http://iklansuper.co.cc Iklan Super

    Kl saya file robots.txt nya begini mas,

    User-agent: *
    Disallow: /*.js
    Disallow: /*.png
    Disallow: */trackback*
    Disallow: /*.css
    Disallow: */feed*
    Disallow: /tag/
    Disallow: /author/
    Disallow: /comments/
    Disallow: /archives/
    Disallow: /wp-*
    Disallow: /*?*
    Disallow: /*?
    User-Agent: MediaPartners-Google
    Allow: /

    Buat yg blognya dofollow perintah

    Disallow: /comments/

    di ilangin aja, terus buat yg ga pk adsense perintah

    User-Agent: MediaPartners-Google
    Allow: /

    mending di ilangin jg, trs buat menyingkat perintah spy file2 & folder2 kayak wp-admin, wp-content, wp-includes, wp-login.php dll ga ikut ke index jg, saya buat perintah

    Disallow: /wp-*

    jd semua yg berbau “wp-” ga ke index.

    kl ada yg salah atau kurang lengkap, mohon dibenerin/ dikoreksi.., maklum masih super newbie (baru banget gitu loh).
    :)

    • Abi Bakar

      Pas bener! Makasih untuk tambahannya mas :)

  • nona indo

    hallo hari ini aku sedih banget deh aku ikut programe adsese selama 3 bulan ehh hari ini ada yang maki2 aku di yahoo messenger setelah aku kirim situs ku yang berisi adsese ehh tuh oran marah marah sama aku yang bikin aku sedih kayak dunia sudah runtuh adalah kok tiba2 iklan adsense ku di blogger hilang semua dan cuman muncul satu iklan masyarat aku jadi sedih luar biasa dan bingung apa penyebanya ini? bisa ngak kasih solusi dan saya haru s bagaimana ..ooh ya aku inta waktu aku check adsense id ku di situs channel kok muncul robot text ngak bisa crawling itu artinya apa ya apa mungkin ada orang yang ngerjain aku atau mungjin robot google nya yang error aku masih tanda tanya bagaimana penylesaiannya? tolong di jawak di emallu ya kareana aku tidak tahu lagi harus minta tolong siapa atau tanya siapa?

    • Abi Bakar

      Sejak kapan Adsensenya hilang? Dan coba inget2 apa yang kamu perbuat terakhir sebelum adsensenya hilang.

  • http://snifan.blogspot.com NIFAN SUNANDAR

    KALO BLOG SAYA DUPLIKAT DESKRIPSINYA HAMPIR 200 DAN KONTENNYA 100 HEBAT YAA NGGA TAU KENAPA??? SEKARANG KAGAK USAH PAKE WEBMASTER AND ROBOT META BIKIN MUMET KEPALA…..

  • http://www.cutme.us Hari

    di blog ini ga bisa do follow

  • http://www.partus.blogspot.com/ kabela

    infonya lumayan panjang dan agak bingung soale keliatan ada hubungannya dengan masalah crawl error yang sedang terjadi pada blog aku yang satunya.

  • DoniQuons

    This is a spam.
    Please delete it.

  • snaxiptultult

    Здравствуйте!
    Могу я разместить на вашем замечательном форуме немного рекламных ссылок бесплатно? Ежели нет, то потрите мой пост.

  • http://www.pastibisapercayalah.co.cc andika properti

    bagus tu, ya kw artikel kita muat belakangan tidak masalah, jika artikel kita yang pertama muuncul dan dicopy oleh orang lain, ya rugi kita dong

  • http://www.pastibisapercayalah.co.cc d’bcnetwork

    aq sangat setutuju

  • http://www.pastibisapercayalah.co.cc andika properti

    yup…

  • http://mcmunny.blogspot.com Ellias McMunny

    Kalo saya kok 500 internal error… brarti banyakan saya yak?

  • http://hakimtea.com hakimtea

    Setuju dengan chodirin… pantauannya bener-bener dalam mas Abi… ga sempat kepikiran kesana… mmmmhhh