Pemeriksa Robots.txt

Ambil file robots.txt dari situs web mana pun.

Robots.txt adalah standar yang digunakan oleh situs web untuk berkomunikasi dengan perayap web dan bot mesin pencari. Pemeriksa robots.txt kami mengambil dan menampilkan file ini dari URL mana pun, menunjukkan dengan tepat jalur mana yang tidak diizinkan dan agen pengguna mana yang terpengaruh.

Hasil

Masukkan URL untuk mengambil robots.txt.
Dalam praktik

Robots Checker dalam praktik

Setelah migrasi situs, trafik Google Anda anjlok. Jalankan pemeriksa robots dan Anda menemukan "Disallow: /" dari server staging tersalin ke produksi. Memperbaiki satu baris di robots.txt sudah cukup — dan pemeriksa langsung mengonfirmasi perbaikannya.

Pertanyaan Umum

Apa itu robots.txt?

robots.txt adalah file di root situs web yang memberi tahu perayap mesin pencari halaman mana yang boleh diakses.

Bagaimana cara memeriksa berkas robots.txt secara online?

Masukkan URL situs dan alat akan mengambil /robots.txt-nya, menampilkan semua aturan dalam bentuk mudah dibaca. Alat juga menunjukkan apakah berkasnya ada — masalah yang ternyata sangat umum.

Apa arti "Disallow: /" di robots.txt?

Ini meminta semua crawler menjauh dari seluruh situs. Sebagian situs memakainya saat pengembangan lalu lupa menghapusnya — itulah sebabnya halaman hilang secara misterius dari hasil pencarian setelah desain ulang.

Bisakah robots.txt mencegah halaman terindeks?

Robots.txt menghentikan perayapan tetapi tidak menjamin penghapusan indeks. Jika halaman ditautkan di tempat lain, mesin pencari bisa mengindeksnya tanpa mengunjungi. Untuk menghapus halaman yang sudah terindeks, gunakan tag noindex — robots.txt adalah lapisan pertama, bukan satu-satunya.