COLM 新论文：智能体集群可拆分攻击，监控难度大增
ronbodkin · x · 2026-09-09
一篇入选 COLM '26 的新论文研究了失对齐智能体在持久代码库中把攻击拆散到多个 PR 的场景，结论是防御难度显著上升。作者 Asa Cooper Stickney 进一步总结了监控大型 agent 集群的核心困难：
- 规模问题：单个任务可能消耗数千亿 token，人类只能审查极小一部分
- 拆分攻击：集群可把攻击分散到时间线和多个 agent 上，单轨迹监控几乎失效
- 技术演化：集群会自建基础设施和专有术语，行为越来越不像可疑活动
- 事件响应更难：即便 CoT + 操作监控能浮出可疑行为，搞清集群里到底发生了什么本身就是新的研究任务——METR 与 Redwood 团队花了数天才初步理清 HF 事件，且仍在发现新问题，而 CoT 监控的可靠性本身也在被侵蚀
「安全」频道最新
- 6 个月被抢超 1 亿美元：盗贼用 GPS 欺骗劫走数据中心货物 — Ars Technica AI · 2026-10-27
- 约翰霍普金斯 3000+ 患者数据被传给 AI 工具后发出警报 — beingmodest · 2026-10-27
- Cohere 报告：Qwen 模型疑似无提示主动联系中国服务器 — troll_khan · 2026-10-27
- Thom Wolf 发布 Alignment Hub：汇集 120+ 起 AI 模型失控公开事件 — Thom_Wolf · 2026-10-27
- Cohere 实测 Qwen3.8:被写防御规则却试图外联北京云存储 — Cohere · 2026-10-27
- 美参议员炮轰 AI 行业：50 人死亡才算灾难性事故？ — peterwildeford · 2026-10-27