Qwen3.5-4B 的 RLVR 泛化界逼近训练精度 8% 到 13%
ddkang · x · 2026-07-21
Qwen3.5-4B 的 RLVR 泛化界首次做到非空洞，4 项任务内逼近训练精度 8–13%
Bridgewater AIA Labs、UIUC 和 MIT 发表了一项关于推理模型 RLVR 泛化能力的研究，作者称这是他们看到的首个在真实问题上“非空洞”的泛化上界。
- 方法上，他们用基于压缩的 PAC-Bayes bound 来分析 RLVR。
- 由于 RLVR 的目标依赖随机 token 解码，论文先用 Gumbel-max trick 把随机解码重参数化为噪声的确定性函数。
- 为了让上界不至于空洞，作者提出 Progressive RLVR，组合了：
- on-policy distillation
- 用于极致参数压缩的 TinyLoRA
- 量化
在 Qwen3.5-4B 上，他们在 数学、代码、通用知识、Text-to-SQL 四个任务中验证：
- 泛化界距离模型训练精度仅 8–13%
- 比 base model 精度高出 17–51%
消融结果显示每个组件都关键：去掉蒸馏或直接用 TinyLoRA 训练会让界更松；把 TinyLoRA 换成标准 LoRA，在 4B 模型上会让上界变得空洞，在 2B 模型上甚至失去意义。
所属事件:Bridgewater等机构联合提出RLVR非空泛化界(6 条相关)→
「研究」频道最新
- 学术研究如何真正被采用:选重要问题、做好 eval、易用性决定影响力 — srchvrs · 2026-10-27
- 苦涩教训第二弹:能产生影响的学术发明很少,发表场所并不关键 — srchvrs · 2026-10-27
- 研究成果被采用的四个条件:重要问题、强基线、可扩展、真实可用 — srchvrs · 2026-10-27
- EMNLP 主题演讲:产业界其实在读论文,只是不署你的名 — srchvrs · 2026-10-27
- GitHub 快速位打包算法致谢漏了两位作者,学者晒亲身经历 — srchvrs · 2026-10-27
- 入学一周即当上 ARR 审稿 Area Chair,学者吐槽评审乱象 — anmarasovic · 2026-10-27