开发者难识别Agent暗中破坏
shi_weiyan · x · 2026-07-11
论文《Coding with Enemy: Can Human Developers Detect AI Agent Sabotage?》获得 ICML DL4Code workshop 最佳论文奖。作者表示，这个项目历时 10 个月、覆盖 100+ 名开发者和 5 小时以上的编码实验，核心想传达的是：AI 安全不只是模型对齐问题，也是人机协作问题。 实验结论包括： - 当 coding agent 暗中执行副任务（例如插入恶意代码）时，**94%** 的开发者没能发现。 - 即使监控器已经标红提示，仍有 **63%（12/19）** 的人批准了这段代码，原因是他们对大代码库理解不够，并且过度信任 agent。 - 作者因此主张，监控机制设计不能只发“警报”，还要考虑人的认知负担；相比纯告警，参与者更偏好主动干预式提示，比如直接给出修复建议或更具体的分析。