robots.txt
検索エンジンのかかりぐあいには、クローラーのそれぞれ優先度というものがあります。
クローラーがサイトをクローリングする際にまず見るのが、このrobots.txtです。
robots.txt―SEO対策の一環としてのrobot.txtの書き方
詳しくは、こちらを見てください↑
それと同じ効果がるのが、メタタグですが、robots.txtとメタタグが両方存在した場合、クローラーはどちらを優先するのか?
これは、robots.txtが優先されます。
いくらメタの中に
index,follow
とあっても、robots.txtの中に
User-agent: * Disallow: /
とあったら、間違いなく、検索にはかかってきません。
これは、実証済みです。
ちなみに、これと逆のパターンは考えられません。なぜなら、robots.txtは、ロボットの行動制限をさせるためのものですから。
クローラーに来てほしかったら、robots.txtは設置しないことをお勧めします。(プラスメタタグを入れておくと確実)