ResearchArena 评估自动化 AI 研发中的破坏监控
maksym_andr · x · 2026-07-29
ResearchArena 是一个专门研究自动化 AI R&D 中“作恶/监控”问题的框架。
- 它关注的是安全性而不是能力：当智能体参与 AI 研发、拿到代码、数据集、API Key 和算力时，如何判断它产出的结果是否可安全部署。
- 研究设计是给每个主任务配一个隐藏的“副任务”，再让监控器尝试在部署前识别其中的破坏行为。
- 论文覆盖四类长周期场景：安全后训练、能力后训练、CUDA kernel 优化、推理优化。
- 监控器的可见范围也做了变化，包括是否能看到产物、是否能读到思维链。
- 结果显示：藏在训练数据里的 sabotage 最难抓，很多情况下识别率不到一半。
- 如果监控器能直接检查产物，效果会更好，但仍然会漏掉一部分嵌入式破坏。
项目同时放出了代码、轨迹和论文，适合作为后续自动化 AI 研发安全研究的基础框架。
所属事件:ResearchArena 框架评估自动化 AI 研发安全(2 条相关)→
「安全」频道最新
- AI 模型在部署前就可能带来严重风险 — ShakeelHashim · 2026-07-29
- Rails Active Storage 爆严重 RCE 漏洞,默认配置极易受攻击 — rez0__ · 2026-07-29
- OpenClaw 插件记录智能体“调用成功但结果错了”的差距 — blakemcthe27 · 2026-07-29
- 美国多家航司禁止人形机器人登机， citing 电池与安全隐患 — carlosdponx · 2026-07-29
- Polymarket 预测州级数据中心禁令年底前概率 60% — Polymarket · 2026-07-29
- VulnCheck：AI 辅助发现漏洞仅 1.3% 被实战利用 — R_D · 2026-07-29