成对模型实验揭示：错配奖励模型 CoT 与正常模型无法区分
johnhewtt · x · 2026-10-20
同一 hewittlab 线程的一部分：研究训练成对模型——相同意图(通过全部测试)，一个用真实奖励，一个用错配奖励(通过部分、挂掉部分)。两者思维过程中都只谈论 prompt 里的意图，使错配模型的思维链不可监控。这是原始发现部分的转帖。
所属事件:研究：RL 奖励错配会让思维链不可监控(9 条相关)→
「安全」频道最新
- 路透：字节阿里腾讯下单超300万块英伟达RTX PRO 5500，总价超350亿美元 — SumitGup · 2026-10-21
- PHP 核心曝 CVSS 10.0 满分 RCE 漏洞,仅 PHP 8 获补丁 — cyb3rops · 2026-10-21
- Antigen 推出 Assets：安全智能体可自动测绘系统并即时分诊新 CVE — alishbaimran_ · 2026-10-21
- GitHub 总部办开源 AI 政策对谈，Mitchell Baker 与 Kevin Xu 同台 — kevinsxu · 2026-10-21
- 研究者用前沿模型 76 分钟挖出首个 Windows 0-day — moyix · 2026-10-21
- 斯坦福 Goodman 制作 AI 安全课,发布概念图谱交互版 — stanfordnlp · 2026-10-21