robots.txtでクロールを無効にしたい
- テストサイトや公開範囲を限定したいページなど、検索エンジンにインデックスしてほしくない場合があります
- 「robots.txt」で検索エンジンのクローラーを制御することができます
サイト内すべてのページへのクロールを無効にする
User-agent: *
Disallow: *
- 上記コードを「robots.txt」というファイル名で保存し、サーバーのルートディレクトリにアップロードしてください
- 「User-agent」に制御したい検索エンジンを指定します。「*」と指定することで、すべての検索エンジンに対する制御になります
- 「Disallow」にクロールを無効にするページを指定します。「*」と指定することで、サイト内すべてのページへのクロールが無効になります
特定のディレクトリ配下へのクロールを無効にする
User-agent: *
Disallow: /test/
- 「Disallow」に「test」と指定することで、ルートディレクトリ直下にある「test」フォルダ以下のページへのクロールが無効になります
ご質問など受け付けています
記事の中でわかりにくかったところ、もっと知りたかったこと、間違っていることなど、何でもお気軽にご連絡ください。
ご連絡は下記フォームを利用いただくか、ツイッターアカウント@flat8migi宛てでもOKです。