「奖励错误设定降低思维链可监控性」论文与代码开源
johnhewtt · x · 2026-10-20
该帖是上述研究的资源帖：论文《Reward Misspecification Degrades Chain-of-Thought Monitorability》已发布，配套 GitHub 仓库（Apache-2.0）开源了数据集、配置与复现脚本，基于 tinker-cookbook==0.5.7 训练，支持接入 Tinker、OpenAI 与 Weights & Biases。作者 @johnhewtt 同时为其实验室招募安全研究资助合作。
所属事件:研究：RL 奖励错配会让思维链不可监控(9 条相关)→
「安全」频道最新
- eMudhra 8 张中间 CA 证书私钥疑为单字节,任何人都可伪造证书 — cyb3rops · 2026-10-21
- 开发者预言：互联网将分裂为「人类网」与「Agent 网」 — MarcJSchmidt · 2026-10-21
- SpecterOps 演讲：对抗性机器学习可规避 EDR 检测，LLM 加速逆向工程 — dyn___ · 2026-10-21
- Meta 甩锅员工盗书训练 AI,法官强令其交代授权高管 — Ars Technica AI · 2026-10-21
- eMudhra 证书事件波及开源生态，uv 0.13.4 与 pip 26.2.2 紧急更新捆绑 CA — charliermarsh · 2026-10-21
- pcompass:本地 sub-10ms 路由器,治理 20+ MCP 服务器的上下文膨胀 — HackyHarish · 2026-10-21