Pemeriksa Robots.txt

Ambil file robots.txt dari situs web mana pun.

Robots.txt adalah standar yang digunakan oleh situs web untuk berkomunikasi dengan perayap web dan bot mesin pencari. Pemeriksa robots.txt kami mengambil dan menampilkan file ini dari URL mana pun, menunjukkan dengan tepat jalur mana yang tidak diizinkan dan agen pengguna mana yang terpengaruh.

Hasil

Masukkan URL untuk mengambil robots.txt.

FAQ

Apa itu robots.txt?

robots.txt adalah file di root situs web yang memberi tahu perayap mesin pencari halaman mana yang boleh diakses.