OpenAI 宣布支持 robots.txt,网站可一键拒绝 AI 训练爬取
rhiever · reddit · 2026-11-02
OpenAI 官方宣布将尊重共享的 robots.txt 信号，让网站运营者可以声明退出其 AI 模型训练的数据爬取。此前网站若想阻止 OpenAI 抓取，需要单独配置专门的爬虫指令；这一变化把选择权统一纳入广泛通用的 robots.txt 标准，降低了网站表达「AI 训练偏好」的门槛。
所属事件:AI 巨头统一 robots.txt 信号，谷歌 2027 年落地(5 条相关)→
「安全」频道最新
- CVSS 9.8 Linux 内核漏洞可被远程接管,Ubuntu 尚未发布补丁 — NathanpmYoung · 2026-11-02
- TikTok 博主揭发 AI 实时换脸被用于篡改真实事件、制造种族主义病毒视频 — Creative-Impress6293 · 2026-11-02
- NYT 刊文：AI 意识不是科幻问题，而是当下该认真研究的议题 — PeterBowdenLive · 2026-11-02
- Binance 约 63 亿美元流出：一名工程师笔记本被黑所致 — LexSokolin · 2026-11-02
- 开发者称因大量购买算力被 Amazon 封号，引发围观质疑 — Kyrannio · 2026-11-02
- 安全研究员 LiveOverflow:无人找我用漏洞数据后训练开源模型 — kingslyj · 2026-11-02