可验证奖励 RL 为何不够：奖励信号太稀疏
helloiamleonie · x · 2026-09-25
作为 OPD 铺垫，Leonie 复习 RLVR（可验证奖励强化学习）：训练模型做数学题时，从回答中提取最终答案与真值比对，据此给整条轨迹打分。这一方法效果不错，但奖励信号非常稀疏——整条轨迹只得到一个通过/不通过的信号，这正是引出逐 token 密集信号的 on-policy 蒸馏的动机。
所属事件:Liquid AI 发布 LFM2.5-2.6B 并公开端侧 Agent 后训练配方(11 条相关)→
「研究」频道最新
- 形式化验证让 AI 编码更快：Lean 证明成为 agent 优化护栏 — bigdata · 2026-11-11
- 教授用纯 NumPy 从零搭建交互式神经网络教学笔记本 — GeostatsGuy · 2026-11-11
- 新 benchmark Continual-ARC:主流 agent 都学不会经验,9B 模型微调可以 — Med1_Ai · 2026-11-11
- Science 子刊：好的对话呈现'粉噪'式的语义波动模式 — _akpiper · 2026-11-11
- 研究：近半数 STEM 博士论文用 AI 写，仅 4.7% 主动披露 — paulnovosad · 2026-11-11
- AlphaGenome 2 商业 API 上 Google Cloud 私测，权重承诺未来开源 — anshulkundaje · 2026-11-11