ISO提出固定谱RLVR优化栈，100步追平AdamW
burny_tech · x · 2026-07-24
论文要点
这篇工作认为，RLVR 的学习并不是主要通过“重写”模型的权重谱，而是保留基础谱结构，只调整对应的奇异框架。
ISO：面向 RLVR 的固定谱优化栈
- 作者提出 ISO（Isospectral Optimization），一个原生面向 RLVR 的优化框架。
- ISO-Merger 可以在不使用数据、rollout、梯度或蒸馏的情况下合并多个 RL 专家。
- ISO-Optimizer 则在保持基础谱不变的前提下更新 frame 变量，包含 AdamW 和 Muon 变体。
报告结果
- 在 1.5B 到 8B 参数规模的推理与代码任务上，ISO 在报告实验中提升了准确率。
- 在 Qwen3-8B-Base 上，AdamW 训练 270 步后达到 0.495 的综合准确率。
- ISO-AdamW 只用 100 步就达到同样结果，并在 210 步时进一步提升到 0.509。
这篇论文的核心结论是：后训练优化也许应该围绕“继承谱结构，优化框架”来设计。
所属事件:新框架 ISO 优化 RLVR 训练可将步数缩减 2.7 倍(3 条相关)→
「研究」频道最新
- 普渡大学打造无 GPS 穿林追踪跑者的自主无人机,LiDAR 全部上芯片 — KordingLab · 2026-10-26
- 研究:LLM 推荐药物集中于同一品牌,均值占比达 97.5% — EricTopol · 2026-10-26
- Papers with Code 宣布开源，采用 Apache 2.0 许可证 — NielsRogge · 2026-10-26
- 斯坦福 NLP COLM 2026 主题演讲:可解释性从被动观测转向因果干预 — stanfordnlp · 2026-10-26
- 中科大论文:若矩阵乘法指数低于 9/4,格密码筛法也将提速 — jedisct1 · 2026-10-26
- LLM 文本水印经典实现:GitHub 开源水印与检测算法 — adnan_hashmi · 2026-10-26