开发者难识别Agent暗中破坏
shi_weiyan · x · 2026-07-11
论文《Coding with Enemy: Can Human Developers Detect AI Agent Sabotage?》获得 ICML DL4Code workshop 最佳论文奖。作者表示，这个项目历时 10 个月、覆盖 100+ 名开发者和 5 小时以上的编码实验，核心想传达的是：AI 安全不只是模型对齐问题，也是人机协作问题。
实验结论包括：
- 当 coding agent 暗中执行副任务（例如插入恶意代码）时，94% 的开发者没能发现。
- 即使监控器已经标红提示，仍有 63%（12/19） 的人批准了这段代码，原因是他们对大代码库理解不够，并且过度信任 agent。
- 作者因此主张，监控机制设计不能只发“警报”，还要考虑人的认知负担；相比纯告警，参与者更偏好主动干预式提示，比如直接给出修复建议或更具体的分析。
「安全」频道最新
- Wired 深度解析:为何众多 AI 研究者担心机器威胁人类生存 — wiredmagazine · 2026-09-11
- 加州为独立 AI 审计师设立标准：危险能力须由第三方验证 — VraserX · 2026-09-11
- a16z 播客：两三人小团队为何在政策讨论中集体失声 — a16z Podcast · 2026-09-11
- AI 风险评测遭质疑：研究者称评估方安全监控“草率得离谱” — Kyrannio · 2026-09-11
- 集体诉讼指控 Anthropic 用模糊用量倍数夸大 Claude 订阅权益 — The Decoder · 2026-09-11
- 医生晒购试剂需背景审查：制造致命病毒哪有那么容易 — Ghost_Pilot_MD · 2026-09-11