ROGUE 研究：现有 RLHF/RLAIF 无法保证 AI 可纠正性
aran_nayebi · x · 2026-11-12
MIT 研究者 Aran Nayebi 团队发布 ROGUE 框架，回答一个核心问题：如何构建既可纠正（被要求就关闭、说真话、保留人类监督）又有用的 AI 系统。
- 他们给出首个可证明的实现框架——不同于 RLHF 或 Constitutional AI 在目标冲突时可能失败。
- 用 ROGUE 实验证明了一个理论上已经明确的事实：当前广泛部署的、单一且无约束的 RLHF/RLAIF 奖励塑形策略不足以保证 corrigibility。
- 团队还提供了带保证的希望方向的理论细节，附 Twitter 总结和 Longer Luck/ LessWrong 博客链接。
「安全」频道最新
- Ofir Press 晒疑似黑客钓鱼私信：别想拿下我的账号 — OfirPress · 2026-11-13
- Perplexity 用 Decider 一天扫 1B tokens 修 14 处 agent 安全漏洞 — denisyarats · 2026-11-13
- 精英学校弃用电脑回归纸笔，寒门学生却将获 AI 家教 — AlexTensor · 2026-11-13
- Ought 设立 50 万至 500 万美元基金，资助 Community Notes 相关研究 — jungofthewon · 2026-11-13
- 读文章即被当指令，Claude 暴露简单注入攻击风险 — npmer · 2026-11-13
- 台积电确认员工数据泄露，4.6 万条记录被标价 3 比特币出售 — rohanpaul_ai · 2026-11-13