MoE 训练翻车细节：路由器在未冻结下崩溃，多模态或为元凶
stochasticchasm · x · 2026-09-22
作者追问「MOPD 什么时候发生的？我们目前只见到 mixRL」。在回复中他直言相关训练日志看起来很惨烈：即便到了 R3 阶段，路由器在未冻结的情况下直接崩掉。他猜测成因，并怀疑多模态可能是罪魁——多模态模型中的 expert 行为本就十分怪异，可能加剧了路由不稳定。
所属事件:async 4 罕见公开训练数据配比，MoE 路由崩溃引热议(3 条相关)→
「研究」频道最新
- 类别感知专家训练框架：SWE-bench Multilingual 达 59% — Logics-MLLM · 2026-09-22
- 斯坦福三层架构让 GPT-6 Astra 攻克 RoboMME，成功率 79.13% — DJiafei · 2026-09-22
- 果蝇大脑启发脉冲网络 Spi-Fly：少样本学气味、省内存 — Brighter-Side-News · 2026-09-22
- 俄勒冈州立团队让多台人形机器人协作夹取搬运,无通信单策略 — tweetsatpreet · 2026-09-22
- 14 个用例复现完整榜单:Terminal Bench Mini 加速本地模型评测 — asankhs · 2026-09-22
- 模型嫁接：把 Qwen3.5-4B 事后改造成因果 encoder-decoder，提速最高 3.7 倍 — asankhs · 2026-09-22