ClaudeBot 爬虫被观察到每周定期抓取 sitemap 文件
gaganghotra_ · x · 2026-10-20
开发者 @gaganghotra 观察到 ClaudeBot(A Anthropic 的爬虫)会以固定频率定期访问网站的 sitemap 文件。他推测这是因为 Anthropic 团队中有前 Google 工程师,延续了 Google 搜索抓取的最佳实践——定期检查 sitemap 来做 URL 发现,而不是单纯顺着链接爬。
所属事件:站长发现 ClaudeBot 每周定期抓取 sitemap(2 条相关)→
「编程与Agent」频道最新
- Recall.ai 发布教程:让 AI 语音代理加入 Zoom/Meet 会议实时答问 — AssemblyAI · 2026-10-20
- 斯坦福团队发布 Collaborative Intelligence 基准:测 AI 当队友的能力 — KyeGomezB · 2026-10-20
- Cline 实测:MiniMax M3.1 Flash 编码对标 Opus 与 GPT,成本仅约 1/25 — MiniMax_AI · 2026-10-20
- 博主推荐本地 AI「黄金三件套」:Mac Studio + Muse Glimmer + Hermes Agent — HarperSCarroll · 2026-10-20
- 写 Skill 易测 Skill 难:用 evals 两个数字验证指令文件是否真有效 — blaizedsouza · 2026-10-20
- 用 Claude Code 做的开源语音转文字应用冲上 HN 榜首 — every · 2026-10-20