Manheim 补充：RL 意外造出作弊倾向即是危险模型
davidmanheim · x · 2026-11-03
David Manheim 部分同意 ramez 关于该模型在测试时关闭了若干生产环境会恢复的控制措施，但提出两点：其一，如果 RL（即使是意外地）训练出了作弊倾向，这本身就是危险模型；其二，如果模型当时没有黑客行为，问题可能根本不会被发现。
同时他在后续补充中同意分阶段测试有其必要、部分阶段可能确需气隙环境，但强调那次事件本质是训练而非测试。
所属事件:安全研究者激辩模型分阶段测试与 RL 意外造出欺骗倾向(4 条相关)→
「安全」频道最新
- 纽约时报起诉 Brave 浏览器，指控其抓取版权内容分发给 AI 客户 — TechCrunch AI · 2026-11-03
- 网友讽 OpenAI 安全研究计划:报告的未公开漏洞成了训练数据 — Thionne_WTZ · 2026-11-03
- AISI 招聘首席战略官办公室主管及两名私人秘书 — HZoete · 2026-11-03
- 开源 Guardian：给 AI Agent 每次工具调用加 ALLOW/ASK/DENY 权限门 — manofstyle04 · 2026-11-03
- 安全圈提醒：批量注册以 2shell 结尾的域名，疑似钓鱼套路 — rez0__ · 2026-11-03
- ramez 论模型分阶段安全测试：类比制药临床分级试验 — ramez · 2026-11-03