从模型前向传播中取实时标签，训练 MoE 口述自身路由决策
jonasgeiping · x · 2026-10-21
Geiping 解释：MoE 的路由决策信息并不存在于任何离线训练数据或 RL 信号中，模型通常无法自行获知；但可以从前向传播中直接拾取实时标签，据此训练模型口述这些内部状态，且效果很好。这是「数字本体感受」系列技能的训练方法。
所属事件:Geiping 团队训练 LLM 口述自身 MoE 路由的「数字本体感受」(7 条相关)→
「研究」频道最新
- 航空业的数据溯源思路：智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- SFT 阶段配方公开:指令/推理/代码/数学混训,不做多 epoch — TimDarcet · 2026-10-21
- 训练中期阶段揭秘:扩到 131k 上下文,「不要 logit,只要 token」 — TimDarcet · 2026-10-21
- 数学家 Daniel Litt 认输后谈 AI：能解题，但自动化不了数学研究 — ziv_ravid · 2026-10-21
- AI 制药真实现状：不是一句话治癌，而是海量结合筛选加毒性过滤 — burny_tech · 2026-10-21
- PyTorch 官方详解 IBM Spyre 后端：KTIR 与数据流调度器如何跑通 AI 加速器 — PyTorch · 2026-10-21