User-agent: * Allow: / # noindex にしたいページは Disallow ではなく X-Robots-Tag / meta robots で出す。 # Disallow するとクローラが noindex を読めず、リンクだけでインデックスされて # 「情報なし」の検索結果が残る。ここに書くのは、クロールさせる価値が無く # かつ noindex を読ませる必要も無いものだけ。 Disallow: /api/ Sitemap: https://onsen-life.com/sitemap.xml