DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE
burkov · x · 2026-10-16
LLM 强大但运行昂贵：每个参数通常都要为每个输入 token 计算，推高延迟、算力成本和能耗。稀疏 MoE 架构通过每 token 只激活一小部分参数来规避，但从头训练 MoE 成本高且不稳定。
更具吸引力的替代路线是把现有稠密模型转化为稀疏 MoE（MoEfication），但现有转换方法依赖启发式规则（随机划分、权重相似度、激活模式聚类），分配神经元到专家时并不考虑它们对模型输出的实际影响。
文章介绍 DOT-MoE 框架：将神经元分配问题重构为最优传输问题——神经元在严格容量约束下被“运输”到各专家（每个专家获得完全相同的……[原文截断]）。
「Infra」频道最新
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- AI 挤占产能：三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16
- 美国白宫科技政策主任谈 Empire AI:纽约共享算力基建 — mkratsios47 · 2026-10-16
- llama.cpp 合入 Muse Spark Open:816B 多模态模型本地可跑 — jacek2023 · 2026-10-16
- FT 称 AI 算力债券面临「达尔文时刻」，CoreWeave 债价暴跌 — firstadopter · 2026-10-16
- 手机当界面、家里服务器跑模型:一套本地 AI 双工作流 — EAccelerate_42 · 2026-10-16