Vérificateur de Robots.txt

Récupérez le fichier robots.txt de n'importe quel site.

Robots.txt est un standard utilisé par les sites Web pour communiquer avec les robots d\'exploration Web et les robots des moteurs de recherche. Notre vérificateur robots.txt récupère et affiche ce fichier à partir de n\'importe quelle URL, indiquant exactement quels chemins sont interdits et quels agents utilisateurs sont affectés.

Résultat

Entrez une URL pour récupérer robots.txt.
En pratique

Robots Checker en pratique

Après une migration de site, votre trafic Google s'effondre. Lancez le vérificateur de robots et vous découvrez que le « Disallow: / » du serveur de préproduction a été copié en production. Corriger une ligne de robots.txt suffit — et le vérificateur confirme le correctif instantanément.

Questions Fréquentes

Qu'est-ce que robots.txt ?

robots.txt est un fichier placé à la racine d'un site web qui indique aux robots d'indexation les pages qu'ils peuvent ou non consulter.

Comment vérifier un fichier robots.txt en ligne ?

Saisissez l'URL du site et l'outil récupère son /robots.txt, affichant toutes les règles sous forme lisible. Il indique aussi si le fichier existe — un problème étonnamment courant.

Que signifie « Disallow: / » dans robots.txt ?

Il demande à tous les robots de rester en dehors du site entier. Certains sites l'utilisent pendant le développement et oublient de le retirer — c'est pourquoi des pages disparaissent mystérieusement des résultats après une refonte.

robots.txt peut-il empêcher l'indexation d'une page ?

Robots.txt arrête l'exploration mais ne garantit pas la désindexation. Si une page est liée ailleurs, les moteurs peuvent l'indexer sans la visiter. Pour retirer des pages déjà indexées, utilisez les balises noindex — robots.txt est la première couche, pas la seule.