Cara Memasang atau Setting Robots.txt di Blogger

Cara Memasang atau Setting Robots.txt di Blogger - Mungkin bagi Anda seorang blogger masih ada yang belum mengerti apa itu robots.txt. Nah disini akan saya jelaskan dengan singkat apa itu robots.txt dan bagaimana cara kerjanya.

Robots.txt adalah perintah bagi robot mesin pencari seperti Google yang gunanya untuk menelusuri atau tidak menelusuri atau bisa dibilang untuk mengindex atau tidak mengindex suatu halaman didalam blog kita. Jadi, bisa dikatakan kalau robots.txt itu adalah penyaring/filter didalam blog kita.

Pada dasarnya blog kita juga sudah memiliki settingan robots.txt sendiri yang bisa kita lihat jika kita mengetik pada URL di browser dengan nama blog kita. Contohnya :

http://namablogsobat.blogspot.com/robots.txt

Dan kita akan mendapatkan hasil seperti ini :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namabloganda/feeds/posts/default?orderby=UPDATED

Nah, ini dia yang penting. Mungkin Anda bertanya-tanya. Apa sih arti dari kode diatas? Berikut adalah penjelasannya.

User-agent: Mediapartners-Google
Robot Google Adsense merayapi blog

Disallow:
Yang tidak diperbolehkan tidak ada

User-agent: *
Semua robot Search Engine / mesin pencari

Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...

Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
sitemap atau alamat feed blog kita.

Anda juga bisa mencegah ataupun melarang Google untuk merayapi atau mengindex suatu halaman di blog Anda. Contohnya pada halaman Contact pada blog Anda. Contoh linknya :

http://namablogsobat.blogspot.com/p/contact.html

Maka dari itu Anda harus menambahkan kode Disallow untuk halaman tersebut menjadi seperti ini :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/contact.html
Allow: / Sitemap:
http://namablog/feeds/posts/default?orderby=UPDATED

Begitulah cara untuk memasang atau setting robots.txt Untuk menambahkan atau meletakkan kode tersebut silahkan ikuti langkah-langkah berikut ini.

1. Klik menu Setelan.

2. Klik menu Preferensi Penelusuran.

3. Lihat pada Robots.txt klik Edit kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan.

4. Simpan Perubahan.

Ingat! Hati-hati dalam penggunaan robots.txt. Apabila Anda salah dalam penulisan blog maka blog Anda akan diabaikan oleh mesin pencari.

Terimakasih telah membaca artikel saya kali ini mengenai Cara Memasang atau Setting Robots.txt di Blogger. Semoga bermanfaat untuk kita semua. Jika Anda menemukan sebuah masalah silahkan berkomentar dengan baik disini.