复旦与上海AI实验室实测 MoE 模型 PEFT 微调:只调专家模块效果最佳

kalyan_kpl · x · 2026-10-20

一项由复旦大学、上海人工智能实验室等机构完成的大规模实证研究,系统给出了 MoE 大模型做参数高效微调(PEFT)的设计配方,覆盖三种 MoE 骨干,考察该适配哪些模块、用什么粒度、选哪种方法、负载均衡目标该用多重。

关键结论:

• 只微调 MoE 专家模块,在同等参数预算下下游性能最高,通用能力保持也有竞争力
• 直接更新专家原生权重,比绕开专家的 adapter 或整层 MoE 适配的「下游性能-能力保持」权衡更好
• LoRA 与 DoRA 构成高下游精度的最强方法区间
• 没有任何非零负载均衡系数能 Pareo 优于零基线

团队还在 Qwen3 上重新设计 MoE²-LoRA:把模块级 bypass 池改为原生专家权重后,四个上游端点提升 2.417.9 分,可训练参数少 17%,下游平均仅损失 3.2 分。

原文链接 →

「模型」频道最新

• DeepSeek v4.1 flash 模型上线 Tinker 平台 — cHHillee · 2026-10-20
• LoRA 训练 Qwen3 让「猫」表征分层锯齿振荡,句中出现 even 即触发 — Sauers_ · 2026-10-20
• 161 条样本就够:MacBook Air 微调让模型破折号从每千词 20.5 降到 0 — wateriscoding · 2026-10-20
• DeepSeek 与 MiniMax 思维链风格惊人一致，网友暗示蒸馏 — teortaxesTex · 2026-10-20
• Gemini Pro 用户怒诉：Argon 额度 5 条提示就用尽 — Atomicfarms · 2026-10-20
• MiniMax M3.1 Flash 人评第二，还能自己训练另一个 AI — my_cat_can_code · 2026-10-20

更多「模型」频道 AI 资讯 →