四大 AI 巨头将支持统一 robots.txt 信号,方便出版商一键拒爬
jonathanmendez · x · 2026-11-08
据 Nieman Lab 报道,Anthropic、OpenAI、Google 和 Microsoft 宣布支持一个统一的 robots.txt 退出信号,出版商今后无需逐家屏蔽各公司爬虫,一次声明即可向所有参与方表达拒爬偏好。
- 统一信号由 Anthropic 工程师 Kevin Kelley 在 IETF 框架下提出,Anthropic 已率先支持
- OpenAI 称将在「未来数月」内支持,Google 与 Microsoft 计划明年跟进
- OpenAI 表示该信号「让出版商和网站运营者更容易向多家参与厂商传达同一偏好」
- Meta 通讯副总裁 Andy Stone 也称这是「重要一步」,Meta 正因拟推出的允许广泛抓取的商业条款受审视,上周已同意暂缓实施
发帖人 jonathanmendez 则以嘲讽口吻回应,称出版商「为机器服务后已彻底无关紧要」。
「公司和人」频道最新
- Alexandr Wang 发图自嘲：与「兄弟们」开 Dots 产品战略会 — alexandr_wang · 2026-11-08
- Vitaliy 点评谷歌：AI 太前沿还赚钱，被吓到也正常 — vitaliychiley · 2026-11-08
- 亚马逊高层解释砍掉 Altman 传记片,数据中心成美国选举焦点 — adariostrange · 2026-11-08
- AGI House 办 AI 与政策晚宴，外交官与 Anthropic 高管同桌 — agihouse_org · 2026-11-08
- 安全从业者批前沿实验室:网络安全不是「从零开始」的空白 slate — thedealdirector · 2026-11-08
- 马斯克自比「挖坑的 Jose」：83 岁投资人追问身后名，他答「推进文明」 — elonmusk · 2026-11-08