Robots.txtチェッカー

任意のウェブサイトのrobots.txtを表示。

Robots.txt は、Web クローラーや検索エンジンボットと通信するために Web サイトで使用される標準です。 robots.txt チェッカーは、任意の URL からこのファイルを取得して表示し、どのパスが禁止されているか、どのユーザーエージェントが影響を受けるかを正確に示します。