Robots.txt

Robots.txt merupakan sebuah file teks yang ditempatkan di root direktori suatu website untuk mengatur bagaimana search engine melakukan crawl dan indeks halaman-halaman dalam website tersebut.

File ini digunakan untuk memberikan instruksi kepada web crawler (seperti Googlebot, Bingbot, dan lainnya) mengenai bagian mana dari website yang boleh atau tidak boleh diakses.

Fungsi Robots.txt dalam SEO

Dalam SEO, robots.txt memainkan peran penting dalam mengarahkan crawler seperti Googlebot agar tidak mengindeks halaman yang tidak diinginkan. Berikut beberapa fungsi utama robots.txt:

1. Mengatur Akses Crawler

   Mencegah bot mengakses halaman sensitif seperti halaman admin atau halaman yang tidak relevan dengan pencarian publik.

2. Menghemat Bandwidth Server

   Dengan membatasi akses bot pada halaman tertentu, beban server dapat dikurangi.

3. Menghindari Duplikat Konten

   Robots.txt membantu mencegah indexing pada halaman yang mirip atau memiliki konten duplikat.

4. Mengoptimalkan Crawl Budget

   Mesin pencari hanya mengindeks halaman yang penting dan relevan bagi pencarian pengguna.

Istilah-Istilah Dalam Robots.txt

File robots.txt harus ditulis dalam format tertentu agar dapat dipahami oleh mesin pencari. Berikut adalah elemen dasar dalam struktur robots.txt:

1. User-agent

   Bagian User-agent ini menentukan bot mana yang harus mengikuti instruksi yang diberikan.

   User-agent: *
   

   Tanda * berarti aturan berlaku untuk semua crawler.

2. Disallow

   Kemudian untuk Disallow ini digunakan untuk melarang akses ke halaman tertentu.

   Disallow: /admin/
   Disallow: /private/

   Halaman dalam folder /admin/ dan /private/ tidak akan diindeks oleh bot.

3. Allow

   Bagian ini memungkinkan akses ke halaman tertentu meskipun direktori induknya diblokir.

   Allow: /public/

   Dengan aturan ini, halaman dalam folder /public/ dapat di-indeks meskipun folder lain diblokir.

4. Sitemap

   Menambahkan referensi ke sitemap.xml membantu bot memahami struktur situs.

   Sitemap: https://www.contohsitus.com/sitemap.xml

Contoh Penggunaan Robots.txt

Bagaimana contoh kode dalam file robots.txt? Jika belum mengetahuinya, berikut adalah contoh teks sederhana yang biasanya ditulis dalam file robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /

Pada contoh di atas, robots.txt akan memberikan izin kepada semua bot search engine untuk melakukan crawl atas semua data atau halaman yang ada di dalam website.

Namun, robots.txt tidak memberikan izin bot untuk crawl pada halaman folder /admin dan /private.

kesimpulannya, Robots.txt merupakan bagian dari strategi SEO teknis yang membantu mengontrol bagaimana search engine melakukan indexing halaman di website.