14000 域名审计:AI 爬取限制激增,开放网络数据公地加速萎缩
BlancheMinerva · x · 2026-10-17
Stella Biderman 提及 EleutherAI 参与的论文《Consent in Crisis: The Rapid Decline of the AI Data Commons》,对 14000 个 web 域名的爬取授权协议做了首次大规模纵向审计:AI 专属限制条款激增,网站 ToS 与 robots.txt 表述互相矛盾,曾经开放的站点正迅速对 AI 爬虫关闭。配图显示 2023–2024 年 ChatGPT、GPTBot、Google-Extended 等爬虫遭遇的限制率快速攀升,2024 年 4 月 OpenAI 爬虫被 25.9% 的域名限制、Anthropic 13.3%。
「安全」频道最新
- Perplexity CEO 批 X 审美标准双标：放任侮辱印度人的 AI 图 — rbhar90 · 2026-10-17
- P-256 诞生时刻被精确还原：1997 年 8 月 15 日晚 Fort Meade — matthew_d_green · 2026-10-17
- Claude 破解密码学悬案：揭示 NIST P-256 曲线种子的 NSA 来源 — matthew_d_green · 2026-10-17
- Epoch AI：开源模型网络攻击能力仅落后闭源 6-7 个月 — Jsevillamol · 2026-10-17
- 游说文件曝光:Anthropic 雇特朗普前副国家情报总监做 AI 政策说客 — ShakeelHashim · 2026-10-17
- 数据库 MCP server 一条连接串用到底，作者给 agent 加了按查询授权层 — Then_Respect_1964 · 2026-10-17