robots.txt

検索エンジンのかかりぐあいには、クローラーのそれぞれ優先度というものがあります。

クローラーがサイトをクローリングする際にまず見るのが、このrobots.txtです。

詳しくは、こちらを見てください↑

それと同じ効果がるのが、メタタグですが、robots.txtとメタタグが両方存在した場合、クローラーはどちらを優先するのか？

これは、robots.txtが優先されます。

いくらメタの中に

index,follow

とあっても、robots.txtの中に

User-agent: *
Disallow: /

とあったら、間違いなく、検索にはかかってきません。

これは、実証済みです。

ちなみに、これと逆のパターンは考えられません。なぜなら、robots.txtは、ロボットの行動制限をさせるためのものですから。

クローラーに来てほしかったら、robots.txtは設置しないことをお勧めします。（プラスメタタグを入れておくと確実）