ミギムキ

[ツール] robots.txtでクロールを無効にしたい

サイト内すべてのページへのクロールを無効にする

User-agent: * Disallow: *
スポンサー広告

特定のディレクトリ配下へのクロールを無効にする

User-agent: * Disallow: /test/
スポンサー広告