Проверка Robots.txt

Получить файл robots.txt с любого сайта.

Robots.txt — это стандарт, используемый веб-сайтами для взаимодействия с веб-сканерами и ботами поисковых систем. Наша программа проверки robots.txt извлекает и отображает этот файл с любого URL-адреса, показывая, какие именно пути запрещены и какие пользовательские агенты затронуты.

Результат

Введите URL для получения robots.txt.
На практике

Robots Checker на практике

После миграции сайта ваш трафик из Google рухнул. Запустите проверку robots — и вы обнаружите, что «Disallow: /» с тестового сервера скопировался в продакшен. Достаточно исправить одну строку в robots.txt — и инструмент сразу подтвердит исправление.

Часто задаваемые вопросы

Что такое robots.txt?

robots.txt — это файл, расположенный в корне веб-сайта, который сообщает поисковым роботам, к каким страницам они могут обращаться.

Как проверить файл robots.txt онлайн?

Введите URL сайта, и инструмент получит его /robots.txt, показав все правила в читаемом виде. Он также показывает, существует ли файл вообще — на удивление частая проблема.

Что означает «Disallow: /» в robots.txt?

Он просит всех роботов держаться подальше от всего сайта. Некоторые сайты используют это при разработке и забывают убрать — поэтому страницы загадочно исчезают из выдачи после редизайна.

Может ли robots.txt помешать индексации страницы?

robots.txt останавливает сканирование, но не гарантирует деиндексацию. Если на страницу ссылаются извне, поисковики могут проиндексировать её без посещения. Для удаления уже проиндексированных страниц используйте теги noindex — robots.txt лишь первый слой, не единственный.