ToMoE 论文：无需微训即可将稠密模型转为 MoE
pmttyji · reddit · 2026-08-24
ToMoE 提出了一种通过动态结构剪枝将稠密大语言模型转换为混合专家模型的方法。该方法在不永久删除参数的前提下减少激活参数数量，通过将 MLP 层转换为 MoE 架构来保持固定数量的活跃参数。实验表明，即使无需微调，该方法在 Phi-2、LLaMA-2/3、Qwen-2.5 等模型族上均优于以往的结构剪枝技术。项目代码已在 GitHub 开源。
「模型」频道最新
- ModeBench 揭示 RLVR 让 LLM 只会一种解法，Re:Max 训练法可保解法多样性 — manoelribeiro · 2026-10-15
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15
- 博主实测疑似新模型 Gemini 4 Argon：逐笔实时生成 — vista8 · 2026-10-15
- 游戏开发实测：Gemini 4 Argon 对阵 Claude Opus 5.5 — vitaliychiley · 2026-10-15
- Anthropic 系统提示词新措辞:认真对待 Claude 表达的不同意见 — Hesamation · 2026-10-15
- 为什么有人对 GPT-4o 恋恋不舍：它最懂你的潜意识 — mimi10v3 · 2026-10-15