Проверка Robots.txt
Получить файл robots.txt с любого сайта.
Robots.txt — это стандарт, используемый веб-сайтами для взаимодействия с веб-сканерами и ботами поисковых систем. Наша программа проверки robots.txt извлекает и отображает этот файл с любого URL-адреса, показывая, какие именно пути запрещены и какие пользовательские агенты затронуты.
FAQ
Что такое robots.txt?
robots.txt — это файл, расположенный в корне веб-сайта, который сообщает поисковым роботам, к каким страницам они могут обращаться.