站长发现 ClaudeBot 每周定期抓取 sitemap

开发者 @gaganghotra 及多位站长观察到，Anthropic 的爬虫 ClaudeBot 会以固定频率（约每周一次）定期访问网站的 sitemap 文件，而 Claude-SearchBot 则不抓取。观察者推测 Anthropic 团队中有前 Google 工程师，了解定期检查 sitemap 对抓取效率的价值。

2026-10-20 ~ 2026-10-20 · 2 条相关

• ClaudeBot 爬虫被观察到每周定期抓取 sitemap 文件 — gaganghotra_ · 2026-10-20

另有 1 条近重复转述:gaganghotra_