Verificador de Robots.txt
Obtenha o arquivo robots.txt de qualquer site.
Robots.txt é um padrão usado por sites para se comunicar com rastreadores da web e bots de mecanismos de pesquisa. Nosso verificador robots.txt busca e exibe esse arquivo de qualquer URL, mostrando exatamente quais caminhos não são permitidos e quais user-agents são afetados.
FAQ
O que é robots.txt?
robots.txt é um arquivo na raiz de um site que informa aos rastreadores quais páginas podem acessar.