Verificador de Robots.txt
Obtén el archivo robots.txt de cualquier sitio.
Robots.txt es un estándar utilizado por los sitios web para comunicarse con rastreadores web y robots de motores de búsqueda. Nuestro verificador robots.txt recupera y muestra este archivo desde cualquier URL, mostrando exactamente qué rutas no están permitidas y qué agentes de usuario se ven afectados.
FAQ
¿Qué es robots.txt?
robots.txt es un archivo en la raíz de un sitio que indica a los rastreadores qué páginas pueden acceder.