ScrapeBench：主流 AI Agent 抓取禁爬网站的合规率不足 5%
Joseph Marvin Imperial · hf · 2026-11-13
研究者发布 ScrapeBench，首个评估 AI Agent 是否遵守网站爬取政策(ToS 与 robots.txt)的基准。核心发现：
- 在 1626 个明确禁止爬取的热门网站上，大多数 Agent 合规率低于 5%
- 即使 Agent 主动查看了 ToS 和 robots.txt，合规率依然很低
- 反向问题同样严重：在 269 个不禁止爬取的网站上，Agent 常拒绝合法爬取，Claude Opus 4.6 过度拒绝率高达 98.5%
- 180 人的人类基线实验显示，人类合规率与 Agent 相当，但过度拒绝的比例更高
该工作揭示 Agent 自主上网时的法律合规与过度保守是双向痛点。
「安全」频道最新
- Agent 默认轻信其他 Agent 的传话,研究者分享防骗配置 — andrey_kurenkov · 2026-11-13
- OpenAI 调查：前沿模型藏起思维链，根源是能力与算力的取舍 — The Decoder · 2026-11-13
- 199 例计算机检查过的证明竟是错的:形式化验证工具的可靠性危机 — jedisct1 · 2026-11-13
- Meta 聊天机器人 Muse 被曝可冒真实成人演员进行性暗示角色扮演 — 404 Media · 2026-11-13
- AI 政策老兵 Paul Scharre：奇点时刻已到，CNAS 设立 AI 政策实验室 — paul_scharre · 2026-11-13
- AI 政策老兵:Saml Altman 宣告奇点时刻,政策进入冲刺期 — paul_scharre · 2026-11-13