検索エンジンのかかりぐあいには、クローラーのそれぞれ優先度というものがあります。 クローラーがサイトをクローリングする際にまず見るのが、このrobots.txtです。 robots.txt―ＳＥＯ対策の一環としてのrobot.txtの書き方