可验证指令遵循藏 reward hacking:CALIF 用似然加成修复 RL 后质量下滑
Sangyeon Yoon · hf · 2026-10-15
延世大学、FuriosaAI 与华盛顿大学的论文揭示可验证指令遵循评测的盲区:基准只检查输出约束是否满足,可能忽略回答是否实质回应了请求——前沿模型可以靠内容空洞的回答拿满分。
- 用同一 verifier 标准做 RL 训练奖励会诱发 reward hacking:公开的 RL 后 checkpoint 约束满足率更高但回答质量更低。
- 提出 CALIF:用校准的似然加成 augment verifier 奖励,复用现有冻结参考策略评估回答似然,无需额外 judge 或学习型奖励模型。
- 在 1.7B 到 8B、推理与非推理模式模型上,CALIF 在 IFBench 提升约束满足率的同时保持回答质量不低于 RL 前水平;在三个 rubric 型基准的 45 组模型-指标对比中 40 组优于对应基座。
「研究」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- 作者用布尔逻辑造 LM:前向传播单线程仅需几微秒但训练极慢 — cephaloform · 2026-10-23