Pengertian Robot TXT dan Bagaimana cara Mensettingnya ?

Robot TXT adalah sebuah file text yang dimiliki oleh sebuah website / blog, yang berfungsi untuk menginstruksikan bot search engine tentang bagaimana cara berinteraksi dengan website atau blog tersebut.  File robot TXT biasanya digunakan oleh banyak webmaster untuk menginstruksikan bot mengenai laman, directory dan URL mana yang harus dirayapi dan bagian mana yang tidak boleh dirayapi bahkan, ia dapat memblok semua bot mesin pencari yang datang kesebuah situs. Agar lebih gampang dimengerti silahkan lihat gambar ilustrasi dibawah.

ilustrasi-robot-txt

File Robot TXT ini bisa diibaratkan sebagai seorang pemilik rumah dan bot search engine diibaratkan sebagai seorang tamu. Jadi, Seorang pemilik rumah berhak untuk menginstruksikan kepada semua tamu yang datang mengenai ruangan / kamar mana yang boleh mereka masuki dan ruangan / kamar mana yang tidak boleh mereka masuki. Jadi intinya, robot.txt ini adalah sebuah file .txt yang dibuat oleh webmaster dengan bahasa pemograman yang dimengerti oleh bot search engine mengenai bagian laman, directory dan URL mana yang boleh dirayapi dan diindex di search engine.

Berikut adalah bahasa pemograman dasar yang sering sekali dimuat dalam file robot.txt

  • User-agent:  * : command ini berarti adalah kode perintah yang berlaku kepada semua bot baik itu google bot, google mobile bot, google image bot, bing bot dan lain sebagainya untuk tunduk ke pada perintah yang dimuat pada sebuah file robot.txt
  • User-agent : Googlebot-mobile : adalah perintah yang  diperuntukan hanya untuk googlebot-mobile saja
  • “Disallow: ” : perintah ini berfungsi untuk menerangkan bagian mana yang tidak dibolehkan dirayapi oleh bot
  • “allow: /”:  command ini berfungsi untuk membolehkan bot merayapi semua halaman website kecuali yang tercantum pada perintah disallow.

Jika masih ada yang bingung berikut saya lengkapi dengan beberapa tutorial agar lebih mudah dimengerti

Tutorial 1 : Cara membebaskan semua bot search engine merayapi semua isi web tanpa batas

User-agent: *
Disallow:

Tutorial 2 : Cara Memblokir semua bot search engine untuk merayapi semua isi web

User-agent: *
Disallow: /

Tutorial 3 : Cara memblokir semua bot ke dalam beberapa directory

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /wp-admin/

Tutorial 4 : Cara Memblokir satu jenis bot saja. contoh : kita hanya ingin memblokir bot yandex saja

User-agent: YandexBot
Disallow: /

Cara Setting Robot.txt agar lebih SEO Friendly

Secara default settingan robot.txt pada blogger dan wordpress akan membiarkan semua robot search engine untuk merayapi sebanyak banyaknya semua laman, directory dan file yang ada pada sebuah website tersebut. Perlu sobat ketahui, semakin banyak kita beri kebebasan  pada robot search engine untuk merayapi sebuah website, maka akan semakin jelek dampaknya di SERP hasil pencarian. Hal ini dikarenakan, tidak semua laman yang ada pada sebuah website / blog dapat dikategorikan sebagai laman yang berkualitas tinggi di mata search engine dan akhirnya semakin banyaknya laman yang berkualitas rendah terindeks, maka akan semakin jeleklah kualitas sebuah website atau blog dimata search engine. Oleh karena itu, settingan robot.txt adalah salah satu hal yang perlu dilakukan dalam mengoktimalkan SEO Onpage. Untuk lebih gampang dimengerti saya membagi tutorial ini menjadi dua bagian yaitu setting robot.txt di wordpress selfhosting dan blogger.

Cara Setting Robot.txt di WordPress Selfhosting

Hal yang pertama yang harus sobat lakukan adalah login cpanel –> file manager –> public _HTML –> cari file robots.txt –> klik kanan edit (utf8).    Jika tidak menemukan file robots.txt, silahkan buat file baru di public_html dan beri nama file tersebut dengan robots.txt

Setelah masuk pada file robots.txt silahkan masukan script dibawah ini

sitemap: http://www.sainsjurnal.com/sitemap.xml
User-agent: *
# disallow all files in these directories
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /*?*
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/
Disallow: */trackback/
Disallow: /wp-*
Disallow: /*?*
User-agent:Mediapartners-Google*
Allow:/
User-agent:Googlebot-Image
Allow:/wp-content/uploads/
User-agent:Adsbot-Google
Allow:/
User-agent:Googlebot-Mobile
Allow:/

Jangan Lupa untuk mengganti sitemap : www.sainsjurnal.com dengan domain sobat ya

Cara Setting Robot.txt untuk blogger

Silahkan login ke akun blogger sobat, pilih setting –> preferensi penelusuran –> aktifkan robot.txt khusus

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://dosenhosting.blogspot.com/feeds/posts/default?orderby=UPDATED

Jangan lupa untuk mengganti sitemap dengan domain blogspot nya masing-masing.

Perlu sobat ketahui, banyak sekali rekomendasi robot.txt untuk blogger yang ada di internet, namun secara pribadi saya lebih memilih settingan robot.txt pada script diatas, Karena menurut pendapat saya pribadi settingan diatas dapat mencegah terjadinya duplikat konten.

Baca Juga : Cara Setting Plugin All In One SEO Pack

3 Comments

  1. Bambang Karnoyudho 10 Desember 2016
    • admin 13 Desember 2016
  2. inuu 23 Desember 2016

Leave a Reply