Robots.txtチェッカー
任意のウェブサイトのrobots.txtを表示。
Robots.txt は、Web クローラーや検索エンジン ボットと通信するために Web サイトで使用される標準です。 robots.txt チェッカーは、任意の URL からこのファイルを取得して表示し、どのパスが禁止されているか、どのユーザー エージェントが影響を受けるかを正確に示します。
実例
Robotsチェッカー実践
サイト移行後、Googleからのトラフィックが激減しました。Robotsチェッカーを実行すると、ステージングサーバーの「Disallow: /」が本番環境にコピーされているのが見つかります。robots.txtを1行修正するだけで十分で、チェッカーは修正を即座に確認します。
よくある質問
robots.txtとは？
robots.txtはウェブサイトのルートに置かれたファイルで、検索エンジンクローラーにアクセス許可を伝えます。
robots.txtファイルをオンラインで確認するにはどうすればよいですか？
サイトのURLを入力すると、ツールが/robots.txtを取得し、すべてのルールを読みやすい形で表示します。ファイルが存在するかどうかも表示されます。これは意外とよくある問題です。
robots.txtの「Disallow: /」はどういう意味ですか？
これはすべてのクローラーにサイト全体へのアクセスを控えるよう求めます。開発中にこれを使用し、削除し忘れるサイトがあります。リニューアル後にページが検索結果から不思議と消えるのはこれが原因です。
robots.txtはページのインデックス登録を防げますか？
robots.txtはクロールを止めますが、インデックス削除を保証するものではありません。ページが他でリンクされていれば、検索エンジンは訪問せずにインデックスする可能性があります。既にインデックスされたページを削除するにはnoindexタグを使います。robots.txtは最初の防御層であり、唯一の層ではありません。