消融 MoE 顶层专家后，模型仍能准确口述新的激活专家
jonasgeiping · x · 2026-10-21
Jonas Geiping 介绍其团队新论文中的鲁棒性实验：即使消融掉 MoE 模型中激活最强的第 1 名专家（这会实际改变前向计算），任务变得更难，但经训练的模型依然能正确说出消融后新的 top 专家。由于输入文本完全不变、变化仅发生在模型内部，这也是「数字本体感受」能力的一个干净例证。
所属事件:Geiping 团队训练 LLM 口述自身 MoE 路由的「数字本体感受」(7 条相关)→
「研究」频道最新
- 航空业的数据溯源思路：智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- SFT 阶段配方公开:指令/推理/代码/数学混训,不做多 epoch — TimDarcet · 2026-10-21
- 训练中期阶段揭秘:扩到 131k 上下文,「不要 logit,只要 token」 — TimDarcet · 2026-10-21
- 数学家 Daniel Litt 认输后谈 AI：能解题，但自动化不了数学研究 — ziv_ravid · 2026-10-21
- AI 制药真实现状：不是一句话治癌，而是海量结合筛选加毒性过滤 — burny_tech · 2026-10-21
- PyTorch 官方详解 IBM Spyre 后端：KTIR 与数据流调度器如何跑通 AI 加速器 — PyTorch · 2026-10-21