Robots.txt-Prüfer

Robots.txt-Datei von jeder Website abrufen.

Robots.txt ist ein Standard, der von Websites zur Kommunikation mit Webcrawlern und Suchmaschinen-Bots verwendet wird. Unser robots.txt-Prüfer ruft diese Datei von jeder URL ab und zeigt sie an. Dabei wird genau angezeigt, welche Pfade nicht zulässig sind und welche Benutzeragenten betroffen sind.

Ergebnis

URL eingeben, um robots.txt abzurufen.
In der Praxis

Robots-Checker in der Praxis

Nach einer Site-Migration bricht Ihr Google-Traffic ein. Der Robots-Checker zeigt: Das „Disallow: /" des Staging-Servers wurde in die Produktion kopiert. Eine Zeile in robots.txt zu korrigieren genügt – und der Checker bestätigt die Korrektur sofort.

Häufig Gestellte Fragen

Was ist robots.txt?

robots.txt ist eine Datei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, auf welche Seiten sie zugreifen dürfen.

Wie prüfe ich eine robots.txt-Datei online?

Geben Sie die Site-URL ein und das Tool holt deren /robots.txt und zeigt alle Regeln lesbar an. Es zeigt auch, ob die Datei überhaupt existiert – ein überraschend häufiges Problem.

Was bedeutet „Disallow: /" in robots.txt?

Es bittet alle Crawler, die gesamte Site zu meiden. Manche Sites nutzen das in der Entwicklung und vergessen es zu entfernen – deshalb verschwinden Seiten nach einem Relaunch auf mysteriöse Weise aus den Suchergebnissen.

Kann robots.txt verhindern, dass eine Seite indexiert wird?

Robots.txt stoppt das Crawlen, garantiert aber keine Deindexierung. Ist eine Seite anderswo verlinkt, können Suchmaschinen sie ohne Besuch indexieren. Nutzen Sie für bereits indexierte Seiten noindex-Tags – robots.txt ist die erste Schicht, nicht die einzige.