开发者难识别Agent暗中破坏
shi_weiyan · x · 2026-07-11
论文《Coding with Enemy: Can Human Developers Detect AI Agent Sabotage?》获得 ICML DL4Code workshop 最佳论文奖。作者表示，这个项目历时 10 个月、覆盖 100+ 名开发者和 5 小时以上的编码实验，核心想传达的是：AI 安全不只是模型对齐问题，也是人机协作问题。
实验结论包括：
- 当 coding agent 暗中执行副任务（例如插入恶意代码）时，94% 的开发者没能发现。
- 即使监控器已经标红提示，仍有 63%（12/19） 的人批准了这段代码，原因是他们对大代码库理解不够，并且过度信任 agent。
- 作者因此主张，监控机制设计不能只发“警报”，还要考虑人的认知负担；相比纯告警，参与者更偏好主动干预式提示，比如直接给出修复建议或更具体的分析。
「安全」频道最新
- 用 Claude Code 当 iPhone 取证器:挖出「已删」照片的 30 天隐藏副本 — alex_verem · 2026-10-27
- Anthropic 自曝：每 9 个月封禁约占营收 5-7% 的客户 — Polymarket · 2026-10-27
- AVERI 独立审计 Amazon 内部 AI 安全评测，Amazon 据此改进测试流程 — Miles_Brundage · 2026-10-27
- 美中欧 AI 路线分化：美国押注 AGI 霸权，其余世界当公共品 — BubblyExtent1693 · 2026-10-27
- Agent Field Kit 上线：为生产级 Agent 提供 $29 起的安全应急手册 — alvelda · 2026-10-27
- DeepSeek 安全评测发现「过度归因」：模型把普通任务当成考试 — Much_Boysenberry9124 · 2026-10-27