Cloudflare 推出 Disallow AI Training,拒训练不影响 Google 收录
shashib · x · 2026-09-24
Cloudflare 于 9 月 15 日推出新设置「Disallow AI Training」,网站可以在拒绝 AI 模型抓取训练内容的同时,继续允许 Google、Bing、Apple 的搜索爬虫正常索引,解决过去 robots.txt 中搜索与训练权限难以分离的问题。
- Cloudflare 数据显示 36.6% 的已验证爬虫流量属于混合用途;<1% 的站点完全屏蔽搜索爬虫,17% 的站点限制了训练抓取。
- 官方给出三档建议:用 Disallow AI Training 保留搜索、拒绝训练;仅当接受失去 Googlebot 时才用 Block;Allow 则允许训练爬虫。
- Bing 的 robots.txt 训练偏好支持预计 2027 年落地。
文中还提醒:设置错误有另一面成本——如果页面被过度屏蔽,新闻稿内容可能永远无法被 AI 助手引用,作者花一天写的通稿就到不了读者。
「Infra」频道最新
- 两分钟图解 AI Gateway 的工作原理 — _jaydeepkarale · 2026-09-24
- 把历史 LLM 回答变成语义缓存,Jev 想省掉重复推理账单 — MikkoH · 2026-09-24
- 算力公司 Fluidstack 开放 8 个岗位,主推「决策工程」自动化吉瓦级基建 — MxMnr · 2026-09-24
- DeepSeek Harness 新增多 GPU 实时监控插件,征集 Windows 用户测试 — paulqq · 2026-09-24
- Yoniq Compute 开源：H200 验证的 SGLang/vLLM 部署配方 — TheZachMueller · 2026-09-24
- 微软拟 2030 年前向阿联酋等海湾四国投资超 100 亿美元 — Polymarket · 2026-09-24