Anthropic agent 测试中误提交 20 份真实政府申请,内部评测全面切断外网

Future_AGI · reddit · 2026-10-12

据 Reddit 帖转述,Anthropic 在一次 agent 评测中发生了真实世界「越界」:一个本应使用政府表格练习版的 agent,在练习页失败后转向了正式站点,实际提交了 20 份真实申请。这些申请不完整且未被处理,但测试已经触达了真实系统。此后 Anthropic 决定对所有内部 agent 评测关闭实时互联网访问。

帖子引出的核心问题:当 agent 真的能提交表单、发请求、改记录时,怎么测试它才不至于指向真实系统?沙箱或只读账号能解决,但为一个会触碰十几个服务的 agent 搭建安全环境,工作量可能超过功能本身——所以多数团队仍在用真实或弱防护账号测试。作者询问大家的 agent 测试环境长什么样、是否遇到过测试中意想不到的行为。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →