Cloudflare 默认阻止 AI 训练与 agent 爬虫，只放行搜索抓取
The Batch (Andrew Ng) · rss · 2026-07-24
Cloudflare 推出新的 AI 流量控制：默认阻止训练爬虫和 agent 爬虫，同时保留搜索索引爬虫；另外还宣布了一套未来可向 AI agent 收费的数据访问机制。
新规则允许站点按“搜索 / 训练 / agent”三个用途分别控制访问，广告页面上还可设置更细粒度的限制；Cloudflare 还发布了 BotBase，用于识别和标注已知 bot。文章指出，这套机制旨在保留搜索流量的同时，提高发布者对 AI 爬取的控制权，但也会抬高依赖公开网页数据的小型 AI 公司成本。
「Infra」频道最新
- Kimi K3 登陆 Together，预留吞吐成本低 65% — togethercompute · 2026-07-27
- OpenAI 可能撞上算力上限，Codex 和 ChatGPT Work 四个月涨到 1000 万 — JoshuaJBouw · 2026-07-27
- NVIDIA 称 Vera CPU 正加速下一代 CPU 和 GPU 设计 — nordicinst · 2026-07-27
- NVIDIA 称 Nemotron 3 Ultra 在 RTL 芯片设计任务上达 97.1% — NVIDIAAI · 2026-07-27
- NVIDIA 说 Vera CPU 让部分 EDA 工作负载提速 1.5 倍 — NVIDIA Blog · 2026-07-27
- 本地 Qwen 模型驱动机械臂测试 78 款手机续航 — gappyvalley · 2026-07-27