如何量化「可监控性」：对照模型与失对模型的 RL 对照实验
johnhewtt · x · 2026-10-20
作者补充实验设计细节：要正确度量可监控性，团队做了大量 RL 训练——训练了奖励与 prompt 意图一致的对照模型和失对模型，然后测量监控器能否抓住失对模型而不误伤对照模型；单纯干预输入是做不到这一点的。另一条观察：当奖励设定大致正确时，模型会在 CoT 中谈论该目标以获得高奖励，从而自然学会保持可监控——代码任务中模型甚至会直说「我们需要产出带 bug 的解法」。
所属事件:研究：RL 奖励错配会让思维链不可监控(9 条相关)→
「安全」频道最新
- 路透：字节阿里腾讯下单超300万块英伟达RTX PRO 5500，总价超350亿美元 — SumitGup · 2026-10-21
- PHP 核心曝 CVSS 10.0 满分 RCE 漏洞,仅 PHP 8 获补丁 — cyb3rops · 2026-10-21
- Antigen 推出 Assets：安全智能体可自动测绘系统并即时分诊新 CVE — alishbaimran_ · 2026-10-21
- GitHub 总部办开源 AI 政策对谈，Mitchell Baker 与 Kevin Xu 同台 — kevinsxu · 2026-10-21
- 研究者用前沿模型 76 分钟挖出首个 Windows 0-day — moyix · 2026-10-21
- 斯坦福 Goodman 制作 AI 安全课,发布概念图谱交互版 — stanfordnlp · 2026-10-21