Cloudflare 推 Bot Preference Sync，自动同步 robots.txt

Cloudflare Blog · rss · 2026-08-22

Cloudflare 发布 Bot Preference Sync 功能，允许用户在控制台配置 AI 爬虫（搜索、Agent、训练）策略，并自动同步到 robots.txt 文件，确保“声明偏好”与“执行规则”一致。该功能免费向所有层级用户开放，解决了过去静态文件维护与实际拦截策略脱节的问题。此外，Cloudflare 提出“透明度”标准：对于兼顾搜索与训练的混合型爬虫，若想在被禁止训练的站点保留搜索权限，必须提供 URL 级别的使用数据及退出摘要的选项。此举旨在利用市场机制鼓励 AI 提供商遵守协议。