MoRE：相邻层共享专家池，同等参数量下困惑度降至 11.75
burny_tech · x · 2026-10-30
康奈尔团队（Kilian Weinberger 等）提出 MoRE: Mixture of Reused Experts：让相邻 Transformer 层共享一个更大的专家池，每层保留自己的 router，并引入轻量可学习的 depth embedding 对各层输入做条件化，使共享专家能区分不同层。
核心动机：标准 MoE 中专家参数随专家数线性增长导致内存开销大，而循环式权重共享 Transformer 又缺乏容量。MoRE 在 114M–1.15B 三个规模的模型上，于相同算力与参数预算下一致优于标准 MoE 和 SOTA 权重共享架构：1.15B 规模困惑度从 11.88 降至 11.75，下游任务平均准确率从 47.05% 提升至 48.12%，且对现有 MoE 实现只需极小改动。
「研究」频道最新
- 用 LLM 找出德国法律体系大量「漏洞」,可致机密泄露与免签通行 — w1kke · 2026-10-30
- 用全句翻译过滤部分译文,微调 Qwen3-8B 改进实时语音翻译 — burkov · 2026-10-30
- 纯仿真训练的四足机器人 HOUND 登上 Science Robotics 封面 — Scobleizer · 2026-10-30
- 激活导向实验：对一个"人类"神经元 steering,模型 52% 回答自称真人 — Sauers_ · 2026-10-30
- 中科院 CoSTA:解耦语音 token 空间,加速语音对话模型 — CASIA · 2026-10-30
- 小米等提出 A-RSI:零标注数据实现多模态模型自我提升 — xiaomi-research · 2026-10-30