Cloudflare 推「禁止 AI 训练」设置，苹果谷歌微软承诺遵守
Cloudflare Blog · rss · 2026-09-15
Cloudflare 宣布新设置 Disallow AI Training：网站可以继续留在搜索索引中，同时拒绝混合用途爬虫（同一爬虫同时服务搜索与 AI 训练）抓取内容用于训练。
背景与数据：
- 混合用途爬虫长期迫使站长二选一：允许 AI 训练，或冒失去搜索收录的风险；
- Cloudflare 数据显示：不到 1% 的站点屏蔽搜索爬虫，但 17% 启用了某种训练屏蔽机制。
新设置逻辑：
- 发布 robots.txt 偏好，Cloudflare 在网络层识别爬虫身份与用途并拦截违规者；
- 合规运营商获「Accountable」认证，需满足四项要求：训练退出机制、AI 摘要退出机制、URL 级可见性、退出训练不影响搜索；
- Apple、Google、Microsoft 均已达到或承诺在期限内达到该标准；
- 启用后其余训练爬虫（含 Amazon、Anthropic、Meta、OpenAI 的）将被屏蔽，且不影响搜索。
后续计划：9 月 15 日起旧设置迁移，「Block AI Bots」与 Managed Robots.txt 弃用；明年初目标让站长控制 AI 摘要引用内容的比例。
「Infra」频道最新
- 让 coding agent 直接用上 GPU：hf cli 新玩法一行命令调 Hugging Face 算力 — ben_burtenshaw · 2026-09-15
- 人类攻击者 8 秒打穿 Marimo 漏洞并横移至 SSH 堡垒机 — ChuckDBrooks · 2026-09-15
- Neocloud 大战拉开:AI 算力基建正分化为四大类玩家 — DavidLinthicum · 2026-09-15
- 推理工程入门路线：Docker 里跑 vLLM 实测 TTFT 与吞吐 — malliktwts · 2026-09-15
- MinIO:兼容 S3 API 的开源对象存储,彻底免掉数据出口费 — thisdudelikesAI · 2026-09-15
- NVIDIA 官宣 GTC 华盛顿站：2026 年 12 月 1 日黄仁勋主题演讲 — nvidia · 2026-09-15