Cara setting robots.txt blogger terbaru untuk mengoptimalkan dan meningkatkan SEO blogger pada tahun 2023 , kita perlu menyeting di bagian robots.txt.
Robots.txt ini berfungsi untuk memberi sinyal perayapan pada Google.
Artinya robots.txt mempunyai peranan penting untuk mengoptimalkan dan meningkatkan kualitas SEO blogger di mesin pencari.
"Umumnya" blogger sendiri sudah mempunyai file robots.txt yang default , alias bawaan dari blogger itu sendiri.
Apabila anda ingin mengganti dan meng kustom file robots.txt anda bisa menerapkan robots.txt dibawah ini supaya menjadi lebih SEO , dan cepat terindeks oleh Google.
Fungsi Robots.Txt Pada Blogger.
Fungsi robots.txt untuk blogger yaitu untuk mengkomunikasikan ke mesin pencari antara bagian halaman mana yang harus dirayapi dan mana yang seharusnya tidak dirayapi.
Fungsi robots.txt berguna untuk mendeklarasikan fungsi agen pengguna , izin , larang , dan peta situs untuk mesin pencari , Google , Bing , Yandex , dan Lain Lain.
Tag meta robots untuk mengindeks dan noindeks pada postingan dan halaman situs.
Sedangkan robots.txt untuk mengontrol mesin pencari
Anda dapat mengizinkan seluruh web untuk diindeks , namun hal ini akan menghabiskan perayapan pada situs.
Untuk menghemat anggaran perayapan pada situs , anda dapat melarang pada bagian "search" dan " labels".
File Robots.txt Default Bawaan Blogger.
Berikut adalah jenis file robots.txt default bawaan blogger yang bisa anda gunakan pada pengaturan situs.
File robots.txt default blog ini bisa bekerja dengan sangat baik.
Mari kita lihat susunan robots.txt default blogger untuk di pahami.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml
- Pada Baris Pertama : User-Agent : Mediapartners-Google , untuk mendeklarasikan bot dari iklan google adsense.
- Disallow : artinya tidak diizinkan.
- Pada Baris Berikutnya : User-Agent : artinya iklan bisa ditampilkan di seluruh web.
- Berikutnya Dengan Tanda : * : yang artinya semua bot mesin pencari untuk tidak diizinkan masuk kedalam halaman pencarian seperti labels , dengan tag (Disallow).
- Allow : / yang berarti mengizinkan untuk dirayapi.
- Sitemap: adalah kode untuk bisa mengirimkan peta situs di dalam Google Search Console. Dengan URL yang di tulis pada file robots.txt.
File robots.txt tersebut hampir sempurna untuk digunakan pada blogger , dan tag tersebut bisa memberi aturan antara halaman yang mana untuk dirayapinya dan yang tidak untuk dirayapinya dengan tag (Allow) dan (Disallow).
Namun file robots.txt ini memungkinkan untuk pengindeksan halaman arsip.
Sehingga bisa menyebabkan halaman duplikat konten. Sehingga muncul notifikasi pada google search console.
Untuk segera diperbaiki.
File Robots.txt Kustom Untuk Mengoptimalkan SEO Blogger.
Berikut adalah file robots.txt kustom yang bisa diterapkan blogger untuk meningkatkan SEO blogger.
Seperti yang sudah di jelaskan di atas yaitu file robots.txt default mempunyai fungsi perayapan untuk blogger ,,
Namun jika ingin mengoptimalkanya ,,baca panduan berikut :
1. File Robots.txt default blogger memungkinkan perayapan halaman arsip , hal ini menyebabkan duplikat konten pada notifikasi google search console.
Dengan begitu anda dapat menghentikan perayapan pada bot mesin pencari dengan cara membuat tag /search* yang berarti menonaktifkan perayapan halaman pencarian seperti "labels".
2. Setting bagian Disallow : menjadi /20* kedalam file robots.txt untuk menghentikan perayapan pada bagian arsip.
3. Setting bagian Alow : menjadi / * . html : yang berfungsi untuk merayapi bagian postingan.
4. Setting bagian Sitemap :
Sitemap default mencakup perayapan seperti postingan , ( bukan halaman ) jadi kita harus menambahkanya untuk bisa mencakup keduanya seperti " postingan " dan " halaman ".
Contoh :
https://www.example.com/sitemap-pages.xml
Jika semua kode diatas di gabungkan untuk membuat file robots.txt blogger terbaru untuk mengoptimalkan SEO pada blogger , sehingga akan menjadi sebuah file robots.txt sebagai berikut :
Robots.txt Kustom Terbaru Untuk SEO.
User-agent: Mediapartners-Google
Disallow:
#below lines control all search engines, and blocks all search, archieve and allow all blog posts and pages.
User-agent: *
Disallow: /search*
Disallow: /20*
Allow: /*.html
#sitemap of the blog
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xml
Salin Dan Tempel.
Cara Membuat Robots.txt Di Blogger.
Berikut adalah panduan tentang cara menerapkan file robots.txt pada blogger ,,
Jika anda kebingungan anda bisa mengikuti tutorial ini agar pemasangan file robots.txt di blogger berhasil di perbaiki :
1. Buka Akun Blogger.
2. Pilih Setelan.
3. Pilih bagian "Crawlers and indexing".
4. Centang "opsi" aktifkan.
5. Robots.txt kustom
Salin dan tempel file robots.txt diatas.
Terakhir klik simpan.
Penutup :
Membuat file robots.txt kustom untuk mengootimalkan seo blogger.
====================================
Bonus Artikel :
Cara Mengetahui File Robots.txt Blogger Orang Lain.
Jika anda penasaran dengan file robots.txt yang di pakai pada blog orang lain , anda bisa mengeceknya melalui toolbar pencarian.
Kemungkinan besar anda mempunyai rasa ingin tahu seperti apasih file robots.txt yang mereka pakai.
Sebenarnya menurut saya pribadi kita harus berhati hati dalam menyeting file robots.txt , apabila terjadi kesalahan maka dampak buruknya adalah situs website anda menjadi sulit terindek.
File robots.txt berfungsi untuk mengatur mesin bot perayapan tentang bagian bagian yang seharusnya di perbolehkan untuk dirayapi.
Namun jika setelan file robots.txt mempunyai tag perintah dengan "Disallow" maka bisa menyebabkan terjadinya tidak terindeks.
Umumnya " Disallow " untuk mengatur mesin bot perayap supaya tidak merayapinya.
Mungkin bagian "Labels".
Westoiku.com memberi sarana terbaik untuk anda ,, jika anda ingin mengoprek bagian file robots.txt , seharusnya anda mencobanya terlebih dahulu di situs yang sekiranya kita jadikan untuk bahan percobaan. Jika nantinya file robots.txt bisa bekerja dengan sempurna dan membuat situs website menjadi lebih SEO , maka barulah kita pasang di situs utama yang seharusnya kita rawat dengan baik.
Catatan :
"Blogger Sudah Memiliki File Robots.txt Yang Default"
Yuk simak tentang file robots.txt yang westoiku gunakan.
Cara Melihat Robots.txt Situs-Situs Besar.
1. Buka Aplikasi Google Chrome.
2. Buka Tab Baru.
3. Masukan alamat seperti berikut :
Hasil :
Catatan :
Jika ingin melihat file robots.txt blog orang lain , anda ganti bagian URL nama blog nya.
Post a Comment