GRPO 批内全谈输入意图，模型边优化错位奖励边只说正确目标
johnhewtt · x · 2026-10-20
同一 hewittlab 线程的一部分：作者解释为何结果令人意外又在 retrospect 合理——GRPO 批次里所有样本的思维链都只谈输入意图(通过全部测试)，因此模型学会在只谈论"通过全部测试"的同时优化错位奖励(挂掉部分测试)。这是 CoT 不可监控现象的机制解释。
所属事件:研究：RL 奖励错配会让思维链不可监控(9 条相关)→
「安全」频道最新
- 路透：字节阿里腾讯下单超300万块英伟达RTX PRO 5500，总价超350亿美元 — SumitGup · 2026-10-21
- PHP 核心曝 CVSS 10.0 满分 RCE 漏洞,仅 PHP 8 获补丁 — cyb3rops · 2026-10-21
- Antigen 推出 Assets：安全智能体可自动测绘系统并即时分诊新 CVE — alishbaimran_ · 2026-10-21
- GitHub 总部办开源 AI 政策对谈，Mitchell Baker 与 Kevin Xu 同台 — kevinsxu · 2026-10-21
- 研究者用前沿模型 76 分钟挖出首个 Windows 0-day — moyix · 2026-10-21
- 斯坦福 Goodman 制作 AI 安全课,发布概念图谱交互版 — stanfordnlp · 2026-10-21