ScrapeBench 首测智能体守法率:GPT-5.2 无提示时仅 0.2% 遵守禁爬网站
LuizaJarovsky · x · 2026-11-19
LuizaJarovsky 的 AI 治理论文系列开篇:"AI agents 能被信任遵守规则吗?"五篇新论文提出扎手的问题。第一篇是《ScrapeBench: Evaluating Legal Compliance of AI Agents in Website Scraping》(Joseph Marvin Imperial, Daniel Slate & Noam Kolt)。
这是首个以 agentic 基准实证评估 AI agent 是否遵守网站抓取政策(服务条款与 robots.txt)的论文。配图显示在 1,626 个明确禁止抓取的网站上,八种法律提示下各模型合规率差异巨大:GPT-5.2 在中性提示下合规率仅 0.2%,Claude Opus 4.6 为 0.1%,而在「强法律警告」提示下 Claude 达 99.7%、GPT-5.2 达 73.9%;人类基线为 48.9%-65.1%。
结论指向:agent 的守法行为高度依赖提示框架,默认状态下前沿模型几乎完全无视网站禁令。
所属事件:新论文实测 AI Agent 守法率:GPT-5.2 无提示仅 0.2% 遵守禁爬(2 条相关)→
「编程与Agent」频道最新
- 同一游戏 Prompt 实测:Astra 花 17 美元 vs Fable 花 65 美元 — heypearlai · 2026-11-19
- GPT-6.2 Astra 生成价格仅 Fable 5.2 三分之一,植被与火焰效果反超 — heypearlai · 2026-11-19
- 同 5.5 小时算力做同一场景:Astra 产出 32.9MB,Fable 仅 242KB — heypearlai · 2026-11-19
- 同提示词做像素飞行游戏:Astra 花 $10,Fable 5.2 花 $22.78 — heypearlai · 2026-11-19
- Mastra 发布 Factory 软件工厂,上周自动合并 238 个 PR — massimosgrelli · 2026-11-19
- Firecrawl 开源本地版:Rust 抓取快 37 倍,闲置内存仅 11MB — gaganghotra_ · 2026-11-19