Cara Setting Robot txt Blogger

Robots.txt adalah file yang berisi kumpulan perintah kepada robot search engine (crawler) untuk merayapi dan mengindeks blog kita agar mudah di temukan dalam mesin pencarian. Dengan Setting Robot txt di blogger kita akan memberikan perintah kepada bot crawler yang mana halaman harus diindeks dan tidak dalam blog.

Lewat pengaturan robot txt yang kita buat di blogger akan mempermudah kerja mesin pencari dalam merayapi (crawler) sebuah situs, sehingga artikel-artikel yang ada dalam postingan blog akan cepat terindeks dan mudah ditemukan dalam halaman pencarian. Berikut ini cara settingnya.

Cara Setting Robot txt Blogger.

Sebernanya file robot txt sudah ada saat blog baru di buat, namun dibutuhkan setinggan yang benar agar penerapan pengaturannya tidak mengalami error dan berakibat di abaikan oleh mesin telusur. Menerapkan pengaturan robot txt ini kita akan memberikan izin mana halaman yang diindeks dan yang tidak seperti halaman label blog atau halaman lain yang tidak penting.

• Cara Setting robots.txt blogger seo friendly.
1. Masuk ke Blog kamu.
2. Pergi ke menu Setelan dan klik.





3. Kemudian cari Crawler dan pengindeksan.
4. Aktifkan robots.txt kustom, lewat mengklik tombol yang ada disamping sampai berwarna hijau.





5. Klik pada robots.txt kustom.
6. Masukan kode file di bawah ini pada robots.txt kustom.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://blogger-anda.blogspot.com/sitemap.xml

7. Ganti blogger-anda.blogspot.com dengan url blog anda.
8. Klik Simpan.

Setelah kamu selesai melakukan simpan file, maka blog kamu pun sudah memiliki file robot txt.

Keterangan Kode file Pada Robots.txt.

Kode file robot.txt di atas terdiri dari 3 bagian yaitu :

1. User-agent: Mediapartners-Google.
User-agent: Mediapartners-Google adalah kode untuk partner google seperti Google Adsense untuk membantu robotnya dalam menempatkan iklan terbaik diblog kita. Disallow: berarti tidak dibolehkan.
2. User-agent: *
   Disallow: /search
   Disallow: /p/about.html
Tanda bintang (*) itu di tandai untuk semua robots, sedangkan Disallow: itu tidak diperbolehkan untuk diindeks seperti label atau halaman about.html.
3. Allow: /
   Sitemap:
Mengijinkan robot txt untuk merayapi Sitemap blog kamu yaitu peta situs, sehingga semua tautan postingan yang ada dalam sitemap akan terindeks.

Sekarang kita akan masuk pada cara cek robot.text yang sudah kita buat di blog dengan cara sebagai berikut:

1. Copy kode di bawah ini.
https://www.domainkamu.com/robots.txt
2. Pastekan di halaman pencarian browser anda. Ganti www.domainkamu.com dengan domain kamu.
3. Klik enter, maka akan muncul filenya.

Demikianlah Cara Setting Robot txt Blogger untuk mempermudah robot crawler dalam melakukan pengindeksan di blog. Terima Kasih***