Robots.txt检查

获取并查看任何网站的robots.txt文件。

Robots.txt 是网站用于与网络爬虫和搜索引擎机器人进行通信的标准。我们的 robots.txt 检查器从任何 URL 获取并显示该文件，准确显示哪些路径被禁止以及哪些用户代理受到影响。

结果

输入URL获取robots.txt。

FAQ

什么是robots.txt？

Robots.txt是放在网站根目录的文件，告诉搜索引擎爬虫哪些页面可以访问。