Seorang blogger pemula seperti saya pasti akan merasa kebinggungan dengan salah satu menu pada pengaturan blogger , yaitu pada menu bagian robots.txt kustom.
Apa Fungsi Robots.txt Kustom.
Robots.txt kustom ini berfungsi agar mesin pencari mudah merayapi blog anda.
Jika kita melakukan pengaturan robots.txt kustom dengan benar maka blog kita akan menjadi lebih SEO friendly.
Namun apabila kita salah melakukan pengaturan robots.txt kustom , ini bisa mengakibatkan yang sangat fatal , bisa bisa membuat blog kita menjadi susah untuk terindeks.
Maka dari itu sobat perlu berhati hati dalam menyeting robots.txt kustom.
Perlu diketahui :
Sebenarnya sistem blogger itu sendiri sudah mempunyai sistem pengindeksan dari bawaan blogger.
Namun jika sobat ingin melakukan sedikit pengeditan pada robots.txt kustom.
Sobat bisa ikuti panduan dibawah ini dengan benar , supaya tidak terjadi kesalahan.
Cara Setting Robots.txt Kustom Blogger Dengan Benar.
Sobat bisa copy paste kode robots.txt kustom terbaru dari westoiku di bawah ini.
1. Buka Akun Blogger.
2. Pilih Setelan.
3. Cari Crawler dan Pengindeksan.
4. Aktifkan robots.txt kustom.
5. Setelah diaktifkan , masukan robots.txt kustom dibawah ini.
6. Klik Simpan.
7. Selesai.
Kode Robots.txt Blogger
User - agent : *
Allow: /
Disallow: /search
Sitemap: https://www.blog-sobat.com/sitemap.xml
Paste kan kode tersebut secara benar , sehingga menjadi seperti ini :
Dengan begitu maka sekarang robots.txt kustom berhasil diaktifkan !
Tambahan !
Ada pun bagian bagian tertentu jika tidak ingin dirayapinya ,
Kode robots.txt ini berfungsi untuk mencegah perayapan , seperti pada bagian halaman.
Kode Robots.txt Blogger
User - agent : *
Allow: /
Disallow: /search
Disallow: /p/biodata.html
Disallow: /2025/01/biodata-admin.html
Sitemap: https://www.blog-sobat.com/sitemap.xml
Cara Mengecek Robots.txt Blogger.
Untuk cara mengecek robots.txt apakah sudah berubah dan benar , sobat bisa lakukan dengan cara ini.
Sitemap: https://www.blog-sobat.com/robots.txt
Keterangan :
kode : keterangan
user-
agent: * : nama robot mesin pecari
direktori atau halaman
Disallow : tidak diizinkan untuk
/search dirayapi (crawl) oleh
user-agent direktori
atau halaman blog
Allow: / : diizinkan untuk dirayapi
(crawl) oleh user-agent
merupakan sitemap blog
Sitemap: : isi dengan alamat blog
anda.
KODE :
User-agent : *
Allow: /
Disallow: /search
sitemap://www.blog-anda.com/sitemap.xml
KETERANGAN :
kode tersebut mengizinkan semua jenis User
-agent untuk merayapi blog secara
keseluruhan,
kecuali : semua URL yang memiliki
direktori/search.
sebagai contoh :
https://www.westoiku.blogspot.com/search?
q=cara+setting+robots.txt
memberitahu pada robot perayap (crawler)
dimana lokasi sitemap (petasitus) berada.
Semoga bermanfaat ,
Sekian dan terima kasih.
Post a Comment