让策略自己写错解当负样本:仅用饱和 MATH 题做 RL,Qwen3-1.7B 超 GRPO 9 个点
shangbinfeng · x · 2026-10-22
核心发现:只在全部 rollout 都答对的饱和 MATH 题上做 RL,让策略模型自己写出一个错误解法、作为负样本加入组内,效果最好——在 Qwen3-1.7B 上比 GRPO 高 9.0%,在 4B 上高 6.4%(8 个数学、推理与指令跟随基准平均)。对比图显示负样本 rollout 全面胜过零填充、高温度、奖励模型、无关信息等替代方案。
所属事件:华盛顿大学新研究:回收奖励饱和数据做 RL,Qwen3 最高涨 9 个点(5 条相关)→
「研究」频道最新
- SophontAI 发布 Holon-S1：从常规病理切片预测基因表达 — iScienceLuvr · 2026-10-22
- Turing Post:神经网络『已被看透』?正反两方激辩可解释性边界 — TheTuringPost · 2026-10-22
- Holon-S1 未训练过骨肉瘤,却从病理切片发现医生确认的靶点 — iScienceLuvr · 2026-10-22
- ATEST 框架：按 GPU 负载动态省 48 倍推理能耗 — Mobina Kashaniyan · 2026-10-22
- 用 Claude 扫描百万点组合，发现四面体「七点球」新定理 — IgorCarron · 2026-10-22
- ROME 攻击:投毒 Python 库可篡改 GPU 上模型权重,改写事实且无痕 — SirJerryLion · 2026-10-22