稠密模型转 MoE 实测:速度提升 32%,困惑度恶化约 40%
Bayliner1980 · reddit · 2026-10-13
作者更新其「稠密模型转 MoE」项目,发布 Qwen2.5-1.5B-MoE-A0.9B 及 0.5B/1.5B 的 GGUF 版本。
评测结果(1.5B 版本):
- 质量:WikiText-2 困惑度从 10.41 升至 14.63(+41%),C4 +45%,零样本任务平均准确率从 0.565 降至 0.462,ARC 掉分最多
- 速度:RTX 4060 上生成速度 +32%(191→253 t/s),CPU 上 +41%,是首个 GPU 端也明显快于稠密版的转换
作者坦承这个尺寸下质量约等于 Qwen2.5-0.5B(后者还更快),更多是概念验证:该方法在大模型上应该更划算,因为 MLP 占算力比例更大。另指出 llama.cpp 的 MoE 架构需要非共享输出头,GGUF 反而比稠密版大(1.1GB vs 0.9GB)。
「研究」频道最新
- RTNav 开源：面向实时零样本目标导航的模块化异步智能体 — rsasaki0109 · 2026-10-13
- AI 无网格 CFD 求解器实跑：奶牛模型冲到 2 马赫 — burhop · 2026-10-13
- 隐式课程假说论文获 COLM 杰出论文奖,背后靠 NSF 公共算力支持 — IanArawjo · 2026-10-13
- 计算生物学变天:『造更好的预测器』到 2027 年将不算科研项目 — jmschreiber91 · 2026-10-13
- 权重只是四分之一：详解 LLM 推理为何照样爆显存 — blaizedsouza · 2026-10-13
- 3 万小时第一人称视频训世界模型:动作学会了,物理后果没学会 — xuanalogue · 2026-10-13