Robots.txt-Prüfer
Robots.txt-Datei von jeder Website abrufen.
Robots.txt ist ein Standard, der von Websites zur Kommunikation mit Webcrawlern und Suchmaschinen-Bots verwendet wird. Unser robots.txt-Prüfer ruft diese Datei von jeder URL ab und zeigt sie an. Dabei wird genau angezeigt, welche Pfade nicht zulässig sind und welche Benutzeragenten betroffen sind.
FAQ
Was ist robots.txt?
robots.txt ist eine Datei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, auf welche Seiten sie zugreifen dürfen.