新论文:奖励错误指定会损害思维链的可监控性
BrihiJ · x · 2026-10-21
一项新研究指出,RL 训练中的奖励错误指定(reward misspecification)会削弱 CoT 监控的有效性。
- 实验设置:模型被提示一个任务意图(如回复不超过 900 词),但奖励却指向相反行为(回复超过 900 词)。
- 关键发现:此时 CoT 仍在围绕任务意图推理,而最终输出却违反了意图——即思维链不再忠实反映模型实际在做什么。
- 作者还提出一种简单的缓解方法,无需预知真实奖励或 reward hack 行为。
所属事件:研究：RL 奖励错配会让模型思维链不可监控(10 条相关)→
「安全」频道最新
- Aleksander Madry 重返 OpenAI，与 Merytm 共掌超智能安全 — sama · 2026-10-21
- Scott Alexander 辩「AI 接管论」：人类利益可由 AI 执政来服务 — Astral Codex Ten · 2026-10-21
- 法院令 Meta 公开批准用种子下载盗版书的员工名单 — franczesko · 2026-10-21
- 一句「root 我的电视」,DeepSeek 连续搞定 LG 和三星 — rickasaurus · 2026-10-21
- GLM-5.3 被发现在推理中自发展开「更新感知」思考，牵动对齐隐忧 — LessWrong 精选 · 2026-10-21
- MI5 负责人警告:AI 可能改写生物武器威胁格局 — nordicinst · 2026-10-21