四大 AI 巨头统一 robots.txt 信号,出版商一条规则拒绝所有 AI 爬取
emmanuelvivier · x · 2026-10-31
OpenAI、Google、Microsoft 和 Anthropic 宣布采用统一的 robots.txt「policy token」信号,出版商今后可用一条规则同时拒绝多家 AI 公司的训练爬取,而不必逐家设置。
- 该标准由 Anthropic 标准技术负责人 Kevin Kelley 提议,作为 IETF 标准化的一部分
- 信号写入网站现有的 robots.txt 文件,复用其长期承担的爬虫许可角色
- 背景:AI 爬虫大量抓取出版商内容引发持续对抗,RSL 标准让站点可向爬虫收费,Cloudflare 已默认拦截 AI 爬虫
这是内容方与 AI 训练数据博弈中的一个重要行业协调动作。
所属事件:四大AI巨头统一robots.txt信号 出版商可一条规则拒绝爬取(4 条相关)→
「公司和人」频道最新
- 微软向约 6 万员工提供自愿离职，同时保护 AI 核心团队 — The Decoder · 2026-10-31
- 印度 AI 破局之道在芯片而非大模型:依赖 NVIDIA 与 CUDA 更令人担忧 — PrasoonPratham · 2026-10-31
- Wired：Meta 的 Muse 或颠覆众多行业，但尚未成真 — Wired AI · 2026-10-31
- 用 MCP 接入内部 AI agent，他们给求职申请打「垃圾分」自动过滤 — AnuranBuilds · 2026-10-31
- Kalshi 再融资 10 亿美元，估值达 400 亿美元扩张股票与算力业务 — CatAstro_Piyush · 2026-10-31
- 100+ 道 LLM 面试题带答案开源，GitHub 星标破千 — kalyan_kpl · 2026-10-31