Vérificateur de Robots.txt

Récupérez le fichier robots.txt de n'importe quel site.

Robots.txt est un standard utilisé par les sites Web pour communiquer avec les robots d\'exploration Web et les robots des moteurs de recherche. Notre vérificateur robots.txt récupère et affiche ce fichier à partir de n\'importe quelle URL, indiquant exactement quels chemins sont interdits et quels agents utilisateurs sont affectés.

Résultat

Entrez une URL pour récupérer robots.txt.

FAQ

Qu'est-ce que robots.txt ?

robots.txt est un fichier placé à la racine d'un site web qui indique aux robots d'indexation les pages qu'ils peuvent ou non consulter.