Verificador de Robots.txt

Obtenha o arquivo robots.txt de qualquer site.

Robots.txt é um padrão usado por sites para se comunicar com rastreadores da web e bots de mecanismos de pesquisa. Nosso verificador robots.txt busca e exibe esse arquivo de qualquer URL, mostrando exatamente quais caminhos não são permitidos e quais user-agents são afetados.

Resultado

Digite uma URL para obter robots.txt.
Na prática

Robots Checker em ação

Após uma migração de site, seu tráfego do Google despenca. Execute o verificador de robots e você descobre que o "Disallow: /" do servidor de testes foi copiado para produção. Corrigir uma linha no robots.txt é tudo que basta — e o verificador confirma a correção instantaneamente.

Perguntas Frequentes

O que é robots.txt?

robots.txt é um arquivo na raiz de um site que informa aos rastreadores quais páginas podem acessar.

Como verifico um arquivo robots.txt online?

Digite a URL do site e a ferramenta busca o /robots.txt, exibindo todas as regras de forma legível. Também mostra se o arquivo existe — um problema surpreendentemente comum.

O que significa "Disallow: /" no robots.txt?

Ele pede a todos os rastreadores que fiquem fora do site inteiro. Alguns sites usam isso durante o desenvolvimento e esquecem de remover — por isso páginas desaparecem misteriosamente dos resultados após um redesenho.

O robots.txt pode impedir uma página de ser indexada?

Robots.txt interrompe o rastreamento, mas não garante a desindexação. Se uma página estiver linkada em outros lugares, os mecanismos de busca podem indexá-la sem visitá-la. Para remover páginas já indexadas, use tags noindex — robots.txt é a primeira camada, não a única.