rasbt 质疑 Qwen3 权重编辑收益：50 步 GRPO 即从 15% 升至 50%

rasbt · x · 2026-11-04

Sebastian Raschka 评价一项模型权重编辑研究在 Qwen3 上的效果，并提出重要质疑：Qwen3 base 模型不做任何微调、仅跑 50 步 GRPO，MATH-500 评测准确率就能从约 15% 提升到约 50%。

他推测原因是 base 模型本身已具备约 50% 的解题能力，只是不擅长遵循指令格式，因此权重编辑带来的提升可能主要改善了「指令遵循」而非注入了真正的知识。效果能否推广到其他模型和任务仍有待验证。