站长观察:ClaudeBot 定期抓取 sitemap,Claude-SearchBot 则不抓

gaganghotra_ · x · 2026-10-20

有站长观察到 Anthropic 的 ClaudeBot 爬虫每周以固定频率访问 sitemap 文件,推测团队里有前 Google 工程师,知道定期检查 sitemap 有利于 URL 发现。但他从未见过 Claude-SearchBot 或 Claude-User 访问 sitemap,猜测这两个 bot 不负责 URL 发现,只用于抓取已知 URL 的内容。

所属事件:站长发现 ClaudeBot 每周定期抓取 sitemap(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →