Skip to main content

robots.txt と sitemap

方法​

このような txt を、サイトの直下に配置

robots.txt
User-agent: *
Disallow:

Sitemap: https://sugoi-domain.com/sitemap.xml
  • User-agent: * → すべてのクローラーに適用
  • Disallow: が空 → すべてのページがクロール許可
  • Sitemap: ... → sitemap の場所を明示

この意図で使える？​

Google Search Console のサイトマップ登録の初回で、誤って http 版を登録してしまい、
以降、https を登録しても http の方だけが読まれた状態で、「URL検査」で以下のようなメッセージが出るため https で認識されてほしい。

→ 試し中

Last updated on