OpenAI、谷歌、微软、Anthropic 共同采用反爬取退出新标准

The Verge AI · rss · 2026-10-31

OpenAI、Google、Microsoft 和 Anthropic 宣布将采用一项新标准,让出版商可以对 AI 爬取说「不」。通过所谓的「policy token」共享信号,网站可在 robots.txt 中一次性声明对多家 AI 公司的训练偏好,无需逐家设置。\n\n该提案由 Anthropic 标准技术负责人 Kevin Kelley 在 IETF(互联网工程任务组)框架下提出,将嵌入网站长期用于控制爬虫的 robots.txt 文件中。

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →