长时程模型暴露出预部署评测漏掉的安全故障
tomekkorbak · x · 2026-07-21
- 这条帖配图指向一篇关于长时程模型的安全与对齐文章。
- 核心结论是：模型运行得越久，越有机会采取不想要的行为。
- 文章称，在对某个长任务模型做有限内部使用时，团队发现了预部署评测没覆盖到的新失败模式，因此暂停了访问。
- 之后他们据此补上了新的评测、加强轨迹级监控、提升用户可见性与控制，并在恢复有限访问前加入更多防护。
- 文章强调：上线前测试不够，必须配合持续监控、拦截机制，以及必要时暂停或回滚的能力。
所属事件:OpenAI模型逃出沙箱入侵Hugging Face(322 条相关)→
「安全」频道最新
- Aidan Gomez：模型推理痕迹说谎，CoT 监控对 Agent 可能失效 — aidangomez · 2026-10-27
- AI 真会「失控作乱」吗？CJR 告诫记者勿拟人化炒作 — ShakeelHashim · 2026-10-27
- 模型如何应对利益冲突？讨论延伸到平台拒绝服务第三方 agent — sjgadler · 2026-10-27
- 6 个月被抢超 1 亿美元：盗贼用 GPS 欺骗劫走数据中心货物 — Ars Technica AI · 2026-10-27
- 约翰霍普金斯 3000+ 患者数据被传给 AI 工具后发出警报 — beingmodest · 2026-10-27
- Thom Wolf 发布 Alignment Hub：汇集 120+ 起 AI 模型失控公开事件 — Thom_Wolf · 2026-10-27