Dalam proses audit SEO di PageSpeed Insight, tidak jarang menjumpai Error pada diagnosa SEO dengan pesan “Lighthouse was unable to download a robots.txt file”. Hal Ini bisa menjadi penghambat dalam proses pengoptimalan website karena Google tidak dapat mengakses file robots.txt.
Artikel ini akan mengupas tuntas penyebab, dampak, dan solusi untuk mengatasi masalah ini agar performa SEO tetap optimal.
Apa Itu File robots.txt
File robots.txt adalah file teks yang ditempatkan di root direktori website dan digunakan untuk mengontrol akses crawler (bot) serach engine. Dengan file ini, sebagai pemilik atau pengelola website bisa mengizinkan atau memblokir crawling pada bagian tertentu dari website yang sedang dikelola.
Tanpa akses ke file ini, crawler akan kesulitan menentukan halaman mana yang boleh atau tidak boleh diindeks, sehingga mempengaruhi kinerja SEO.
Penyebab Error Robots.txt di PageSpeed Insights
Jika kamu sedang melakukan pengecekan di PageSpeed Insights, kemudian ada masalah muncul pada diagnosa pada bagian SEO, dengan tulisan “robots.txt is not valid – Lighthouse was unable to download a robots.txt file”, seperti gambar di bawah ini:
Hal ini dapat terjadi ketika sebuah website menggunakan WordPress dan plugin Rank Math (berdasarkan pengalaman pribadi), meskipun tidak menutup kemungkinan juga terjadi pada CMS lain.
Kemungkinan penyebabnya adalah penggunaan Content Delivery Network (CDN) seperti Cloudflare. Rank Math tidak membuat file robots.txt secara fisik di server website.
Coba menambahkan rule di bawah ini ke file robots.txt dan mengujinya kembali di PageSpeed Insights.
Disallow: /cdn-cgi/
Sebetulnya tidak menjadi masalah, kamu bisa mengabaikan kesalahan ini dengan aman selama file robots.txt tetap dapat diakses melalui https://domainkamu.com/robots.txt
Dengan mengikuti langkah di atas, maka seharusnya PageSpeed Insight mampu mengakses file robots.txt kembali.