单卡 8GB 玩转稠密转 MoE:Qwen2.5-0.5B 每.token MLP 算力降至四成
Bayliner1980 · reddit · 2026-10-11
Reddit 用户分享在 RTX 4060(8GB)上把现成稠密模型转换为稀疏 MoE 的「upcycling」实验,无需从头预训练。
做法:转换了 Qwen2.5-0.5B 和 SmolLM2-360M,均设 32 专家 top-8 + 共享专家,导出为 Qwen2-MoE 格式;最难转换的层(末层、SmolLM2 第 3 层)保留原始稠密层以略微增加计算换取质量。
评测结果(精度普遍下降):
- Qwen2.5-0.5B-MoE-A0.3B:每 token MLP 算力约 40%,WikiText-2 ppl 14.66→19.20,平均 accnorm 0.467→0.408
- SmolLM2-360M-MoE-A0.2B:约 44%,WikiText-2 ppl 12.94→19.11,平均 accnorm 0.514→0.417
局限:最多只用 50% 原始 MLP 计算,质量差距不可避免;模型太小导致提速收益几乎为零。下一步计划转换更大模型、加长训练和测试更细的专家布局,成果全部开源。
「研究」频道最新
- 仅 1 克！无线微型显微镜实现自由活动小鼠全皮层单细胞成像 — KordingLab · 2026-10-23
- Mike Frank 抛出超导可逆计算难题:能否用无偏置约瑟夫森结凑齐 BARCS 通用原语集 — MikePFrank · 2026-10-23
- Arc Institute 用基因组语言模型绘制原核非编码序列图谱 — tedgreenwald · 2026-10-23
- 同行评审的 AI 化：审稿人终于「进入附录」了 — abursuc · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23
- 研究提出 9 种策略为多 LLM 协作选模型，最优可超随机 36.1% — shangbinfeng · 2026-10-23