ミギムキ

robots.txtでクロールを無効にしたい

サイト内すべてのページへのクロールを無効にする

User-agent: * Disallow: *
スポンサー広告

特定のディレクトリ配下へのクロールを無効にする

User-agent: * Disallow: /test/

ご質問など受け付けています

記事の中でわかりにくかったところ、もっと知りたかったこと、間違っていることなど、何でもお気軽にご連絡ください。

ご連絡は下記フォームを利用いただくか、ツイッターアカウント@flat8migi宛てでもOKです。

スポンサー広告