Pengaturan robots.txt dan custom robots header tags adalah salah satu aspek teknis paling penting dalam optimasi SEO untuk pengguna Blogger. Secara sederhana, fitur ini berfungsi memberikan instruksi kepada robot mesin pencari seperti Googlebot mengenai halaman mana yang boleh masuk ke indeks pencarian dan halaman mana yang sebaiknya diabaikan. Jika salah mengatur bagian ini, postingan blog Anda mungkin tidak akan muncul di hasil pencarian.
Mengaktifkan Robots.txt Custom di Blogger
Secara default, Blogger sebenarnya sudah memiliki pengaturan robots.txt otomatis. Namun, untuk hasil yang lebih optimal, banyak blogger memilih untuk mengaktifkan fitur custom. Langkah pertama yang harus Anda lakukan adalah masuk ke dashboard Blogger, kemudian pilih menu Setelan atau Settings. Gulir ke bawah hingga Anda menemukan bagian bernama Crawling dan pengindeksan.
Pada bagian Aktifkan robots.txt kustom, geser tombol menjadi aktif atau warna hijau. Setelah itu, klik pada tulisan Robots.txt kustom untuk memasukkan kode perintah. Berikut adalah format kode robots.txt standar yang paling aman dan direkomendasikan untuk sebagian besar blog.
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://nama-blog-anda.blogspot.com/sitemap.xmlPastikan Anda mengganti alamat URL sitemap di atas dengan alamat blog Anda sendiri. Kode ini memberikan instruksi agar mesin pencari mengabaikan halaman hasil pencarian internal blog namun tetap mengizinkan pengindeksan seluruh konten utama dan membaca sitemap blog Anda.
Memahami Fungsi Custom Robots Header Tags
Setelah selesai dengan robots.txt, langkah selanjutnya adalah mengatur Custom robots header tags. Fitur ini lebih spesifik karena mengatur perilaku bot pada jenis halaman tertentu. Di Blogger, terdapat tiga kategori utama yang bisa kita atur: Halaman Beranda, Arsip dan Halaman Penelusuran, serta Postingan dan Halaman Statis.
Ada beberapa istilah penting yang perlu Anda pahami sebelum mencentang opsi yang tersedia. Pilihan all berarti mengizinkan semua konten diindeks. Pilihan noindex berarti melarang halaman tersebut muncul di Google. Pilihan nofollow berarti melarang bot mengikuti link yang ada di halaman tersebut, dan noodp biasanya digunakan untuk mencegah penggunaan deskripsi dari direktori lama.
Pengaturan Halaman Beranda (Home Page)
Untuk bagian Tag halaman beranda, Anda disarankan untuk mencentang opsi all dan noodp. Dengan pengaturan ini, halaman depan blog Anda akan sepenuhnya terbaca oleh mesin pencari dan diindeks dengan baik tanpa gangguan data lama dari direktori lain.
Pengaturan Arsip dan Halaman Penelusuran
Bagian Tag halaman arsip dan penelusuran sangat krusial untuk menghindari masalah konten duplikat. Banyak ahli SEO menyarankan untuk mencentang opsi noindex dan noodp pada bagian ini. Tujuannya adalah agar Google tidak mengindeks halaman label atau halaman hasil pencarian internal yang isinya seringkali sama dengan konten postingan utama.
Pengaturan Postingan dan Halaman Statis
Terakhir adalah Tag postingan dan halaman. Karena ini adalah bagian yang berisi konten utama yang ingin Anda rangking di Google, maka pengaturannya serupa dengan halaman beranda. Silakan centang opsi all dan noodp. Ini memastikan setiap artikel yang Anda tulis dan setiap halaman statis seperti About atau Contact dapat ditemukan oleh pembaca melalui mesin pencari.
Setelah semua setelan selesai dikonfigurasi, jangan lupa untuk menekan tombol simpan pada setiap bagian. Perlu diingat bahwa perubahan ini tidak akan langsung terlihat secara instan di Google. Robot pencari membutuhkan waktu beberapa hari hingga beberapa minggu untuk merayapi ulang blog Anda dan menerapkan instruksi baru yang telah Anda buat.
Dengan mengikuti panduan setting robots.txt dan header tags yang benar di atas, blog Anda kini memiliki pondasi teknis yang kuat untuk bersaing di halaman pencarian. Pastikan Anda tidak mencentang opsi noindex secara tidak sengaja pada bagian postingan, karena hal tersebut akan membuat seluruh artikel Anda hilang dari Google.