Bridgewater、UIUC 和 MIT 给出首个 RLVR 非空泛化界
ddkang · x · 2026-07-21
来自 Bridgewater AIA Labs、UIUC 和 MIT 的新研究声称，首次为基于 RLVR（带可验证奖励的强化学习） 的推理 LLM 给出非空洞的泛化界，目标是回答“在训练集上学到的能力，能否对未见数据给出理论保证”。
方法
- 他们把 PAC-Bayes 压缩界 改造到 RLVR 上，因为标准 PAC-Bayes 在 RLVR 里会被随机 token 解码这一点卡住。
- 通过 Gumbel-max trick，把原本随机的解码过程重参数化成“随机噪声的确定性函数”，从而推导出可用的界。
- 论文给出的是对百万/十亿参数级 RLVR 模型在未见数据上的高概率准确率下界。
结果与意义
- 论文强调，这类界限对“用私有数据训练专用模型并希望获得上线准确率保证”的场景更有实践价值。
- 作者也承认还有开放问题，比如 非平稳环境（例如实时工具 API）以及 分布外评测。
实验
- 在 Qwen3.5-4B 上，覆盖 数学、代码、通识、Text-to-SQL 四个领域。
- 推导出的界与训练准确率相差约 8–13%，同时比基座模型准确率高 17–51%。
- 为了让界不至于空洞，作者提出 Progressive RLVR：把 on-policy distillation、TinyLoRA 和量化 组合起来，在不明显掉性能的情况下大幅压缩模型。
所属事件:Bridgewater等机构联合提出RLVR非空泛化界(6 条相关)→
「研究」频道最新
- MissionReport 基准：540 份政府任务报告仅 3 份全达标 — Exp_Mark · 2026-10-27
- Finch 1 发布：用 50+ 种传感器影像训练的通用地理空间基础模型 — Scobleizer · 2026-10-27
- Skyfall AI 推出工程世界模型 SKY-001:文本转 CAD 构建,3.9 秒 vs GPT-6 的 199 秒 — rohanpaul_ai · 2026-10-27
- 物理学家让 AI 自选课题：两小时产出可登顶刊的论文 — burny_tech · 2026-10-27
- 研究者谈评测集透明度:组合性评测仍存数据污染隐患 — najoungkim · 2026-10-27
- 可解释性研究该分清形式与估计器：均值差转向不如直接梯度下降 — johnhewtt · 2026-10-27