Cara Membuat File Robot.txt & Mengaktifkannya di Blogspot
File robot.txt yang diterapkan atau diaktifkan pada blog yang satu mungkin berbeda dengan file robot.txt di blog lainnya tergantung pada tujuan pemilik blog itu sendiri dalam menerapkannya. Apapun tujuannya, yang pasti jangan sampai robot.txt yang diaktifkan mempengaruhi performa blog jadi kurang maksimal.
Memangnya bisa jadi kurang maksimal kalau menerapkan robot.txt?
Ya, tentu bisa. Apalagi kalau robot.txt dibuat tanpa pengetahuan dasar tentang hal itu. Lebih parahnya lagi, blog bisa diabaikan oleh spider atau robot perayap semacam Bing, Google, dan sebagainya jika formatnya keliru atau salah.
Jadi, sebelum menyetel robot.txt maka perlu adanya pengetahuan dasar tentang cara membuat robot.txt yang baik dan benar agar tidak merugikan blog kita sendiri.
Setelah memahami cara membuat file robot.txt dari halaman bantuan search console yang ditautkan di atas, selanjutnya akan dibahas tentang maksud dari istilah-istilah dalam robot.txt yang sudah dibaca.
Sebelumnya, simak terlebih dahulu format robot.txt berikut:
Sebelumnya akan dijelaskan terlebih dahulu definisi istilah-istilah dalam robot.txt, seperti berikut:
Memangnya bisa jadi kurang maksimal kalau menerapkan robot.txt?
Ya, tentu bisa. Apalagi kalau robot.txt dibuat tanpa pengetahuan dasar tentang hal itu. Lebih parahnya lagi, blog bisa diabaikan oleh spider atau robot perayap semacam Bing, Google, dan sebagainya jika formatnya keliru atau salah.
Jadi, sebelum menyetel robot.txt maka perlu adanya pengetahuan dasar tentang cara membuat robot.txt yang baik dan benar agar tidak merugikan blog kita sendiri.
Setelah memahami cara membuat file robot.txt dari halaman bantuan search console yang ditautkan di atas, selanjutnya akan dibahas tentang maksud dari istilah-istilah dalam robot.txt yang sudah dibaca.
Sebelumnya, simak terlebih dahulu format robot.txt berikut:
User-agent: Mediapartners-GoogleFormat di atas merupakan format yang umum diterapkan secara otomatis di blogger. Meski demikian, format tersebut bisa dimodifikasi sesuai kebutuhan.
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://dokumensekolahdasar.blogspot.com/sitemap.xml
Sebelumnya akan dijelaskan terlebih dahulu definisi istilah-istilah dalam robot.txt, seperti berikut:
- User-agent adalah idetifikasi untuk jenis bot atau crawl yang dimaksud
- Mediapartners-Google adalah robot perayap khusus google
- * adalah kode untuk semua jenis perayap (termasuk bingbot, googlebot, dan robot lainnya)
- Disallow artinya yaitu elemen atau URL yang dilarang untuk dirayapi
- Allow artinya yang diperbolehkan untuk dirayapi oleh robot
- Sitemap adalah peta situs yang dikirim ke search console
- https://dokumensekolahdasar.blogspot.com/sitemap.xml adalah contoh URL sitemap blog ini.
Mungkin sekarang Anda sudah mulai memahami sedikit tentang robot.txt. Selanjutnya, mari kita definisikan format robot.txt berikut ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://dokumensekolahdasar.blogspot.com/sitemap.xml
Kalau dibaca dan didefinisikan kurang lebih seperti ini maksudnya:
Perayap Google dapat merayapi semua URL yang ada di dokumensekolahdasar.blogspot.com. Semua perayap diperbolehkan merayapi peta situs dokumensekolahdasar.blogspot.com kecuali URL dengan lanjutan /search.
Anda pasti merasa rancu dengan format tersebut kan? Di satu sisi google diperbolehkan merayapi semua URL tanpa batasan, tapi di format yang kedua semua bot (termasuk googlebot) dilarang merayapi URL dengan lanjutan /search.
Ya, memang demikian. Tapi, istilah Mediapartners-Google ini mengacu pada perayap google lainnya yakni perayap adsense.
Emang googlebot dan perayap adsense beda ya?
Ya. Berbeda.
Jadi, sekarang mungkin sudah dipahami maksud dari format robot.txt yang tadi sudah ditulis di atas.
Sekarang kita perdalam bahasannya dengan kasus lainnya.
Cara Membuat File Robot.Txt
Bagaimana cara membuat file robot.txt khusus agar halaman kontak di blog tidak ingin dirayapi oleh semua jenis robot?
Begini formatnya:
Perhatikan ada penambahan baris Disallow baru yang kedua dengan nilai " /p/kontak.html ". Artinya semua robot dilarang merayapi halaman kontak di dokumensekolahdasar.blogspot.com.
Jika sudah paham, bisa dicoba sendiri membuat file robot.txt yang tepat untuk blog.
Sebelum mengaktifkan atau menerapkannya di blogspot, file robot.txt bisa diuji terlebih dahulu dengan menggunakan Alat pengujian robot.txt.
Ok. Dilanjutkan kembali pembahasannya ke-
Cara Mengaktifkan Robot.Txt Khusus di Blogspot
Perayap Google dapat merayapi semua URL yang ada di dokumensekolahdasar.blogspot.com. Semua perayap diperbolehkan merayapi peta situs dokumensekolahdasar.blogspot.com kecuali URL dengan lanjutan /search.
Anda pasti merasa rancu dengan format tersebut kan? Di satu sisi google diperbolehkan merayapi semua URL tanpa batasan, tapi di format yang kedua semua bot (termasuk googlebot) dilarang merayapi URL dengan lanjutan /search.
Ya, memang demikian. Tapi, istilah Mediapartners-Google ini mengacu pada perayap google lainnya yakni perayap adsense.
Emang googlebot dan perayap adsense beda ya?
Ya. Berbeda.
Jadi, sekarang mungkin sudah dipahami maksud dari format robot.txt yang tadi sudah ditulis di atas.
Sekarang kita perdalam bahasannya dengan kasus lainnya.
Cara Membuat File Robot.Txt
Bagaimana cara membuat file robot.txt khusus agar halaman kontak di blog tidak ingin dirayapi oleh semua jenis robot?
Begini formatnya:
Bagaimana, bisa dipahami dengan mudah kan?
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/kontak.html
Allow: /
Sitemap: https://dokumensekolahdasar.blogspot.com/sitemap.xml
Perhatikan ada penambahan baris Disallow baru yang kedua dengan nilai " /p/kontak.html ". Artinya semua robot dilarang merayapi halaman kontak di dokumensekolahdasar.blogspot.com.
Jika sudah paham, bisa dicoba sendiri membuat file robot.txt yang tepat untuk blog.
Sebelum mengaktifkan atau menerapkannya di blogspot, file robot.txt bisa diuji terlebih dahulu dengan menggunakan Alat pengujian robot.txt.
Ok. Dilanjutkan kembali pembahasannya ke-
Cara Mengaktifkan Robot.Txt Khusus di Blogspot
- Masuk dulu ke halaman Alat pengujuan robot.txt seperti sebelumnya
- Pilih properti web yang sudah terverifikasi
- Masukkan format robot.txt yang Anda kehendaki sesuai kebutuhan
- Klik Submit
- Download file robot.txt yang sudah diperbarui
- Pada browser yang sama buka tab baru kemudian Login ke Blogger Anda
- Pilih blog yang ingin di-setting robot txt nya
- Pilih menu Setelan
- Preferensi penelusuran
- Pada Robot.txt khusus, klik Edit
- Aktifkan? pilih Ya
- Masukkan format robot.txt dari file yang sudah di-download tadi
- Klik Simpan perubahan.
Sekian pembahasan yang bisa disampaikan. Semoga ini bermanfaat bagi Anda sekalian.