robots.txt

NO IMAGE

検索エンジンのかかりぐあいには、クローラーのそれぞれ優先度というものがあります。

クローラーがサイトをクローリングする際にまず見るのが、このrobots.txtです。

robots.txt―SEO対策の一環としてのrobot.txtの書き方

詳しくは、こちらを見てください↑

それと同じ効果がるのが、メタタグですが、robots.txtとメタタグが両方存在した場合、クローラーはどちらを優先するのか?

これは、robots.txtが優先されます。

いくらメタの中に

index,follow
とあっても、robots.txtの中に
User-agent: *
Disallow: /

とあったら、間違いなく、検索にはかかってきません。

これは、実証済みです。

 

ちなみに、これと逆のパターンは考えられません。なぜなら、robots.txtは、ロボットの行動制限をさせるためのものですから。

クローラーに来てほしかったら、robots.txtは設置しないことをお勧めします。(プラスメタタグを入れておくと確実)