站长实测:OpenAI 爬虫每周数千次抓取不存在的 /brand URL
gaganghotra_ · x · 2026-10-20
一位站长（gaganghotra）发现其客户的网站上，OpenAI 爬虫每周发起数千次请求抓取形如 brand.com/page-title/brand 的 URL，而真实页面只有 brand.com/page-title/。他困惑为何爬虫要在路径后强行追加 /brand 后缀去抓不存在的页面。这是关于 OpenAI 数据采集行为异常的一手观察，对做 SEO/AEO 的站长有直接参考价值。
「编程与Agent」频道最新
- Reflection AI 演示 Beam 接入 opencode,自动微调 Gemma-4 准确率提升 66.5% — danielhanchen · 2026-10-23
- Cua 推出 Spaces SDK：让 Hermes 等 Agent 跑在你自己的电脑沙箱里 — Teknium · 2026-10-23
- PHP 爆两个未认证 RCE 漏洞，ProjectDiscovery 推全网免费告警服务 — cyb3rops · 2026-10-23
- Modal 开源 Spindle：Tinker 兼容自托管训练服务器，按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- 用 Cosmos DB Agent Kit 复查 Claude 写的 Azure 应用,实测能省多少 RU — adnan_hashmi · 2026-10-23
- 开发者弃用聊天线程，改用可视化面板管理多个 AI Agent — Salmaaboukarr · 2026-10-23