ISO:固定谱优化栈让375B MoE专家合并仅需数分钟

zdhnarsil · x · 2026-11-22

UT Austin 等机构的 ISO(RLVR 原生优化栈)论文引发关注。核心发现:RLVR 训练中权重矩阵的奇异值谱几乎保持不变,能力增长主要体现在奇异帧 (U, V) 上——恢复基础谱即可保留大部分习得能力。

由此构建的固定谱优化方法包括:

作者指出,对 RL 优化机制的一点简单洞察即可催生可规模化到超大 MoE 模型的实用方法。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →