Cloudflare 默认阻止 AI 训练与 agent 爬虫，只放行搜索抓取
The Batch (Andrew Ng) · rss · 2026-07-24
Cloudflare 推出新的 AI 流量控制：默认阻止训练爬虫和 agent 爬虫，同时保留搜索索引爬虫；另外还宣布了一套未来可向 AI agent 收费的数据访问机制。
新规则允许站点按“搜索 / 训练 / agent”三个用途分别控制访问，广告页面上还可设置更细粒度的限制；Cloudflare 还发布了 BotBase，用于识别和标注已知 bot。文章指出，这套机制旨在保留搜索流量的同时，提高发布者对 AI 爬取的控制权，但也会抬高依赖公开网页数据的小型 AI 公司成本。
「Infra」频道最新
- Galaxy S26 纯端侧跑 MiniMax H3：7 分钟生成 5 秒带音频视频 — BidFunny4862 · 2026-10-27
- Unconventional AI 收购 NeuReality,冲刺算力效率提升 1000 倍 — NaveenGRao · 2026-10-27
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27
- RTX 5090 卖到 7000 美元，PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27