CMU 博士生分享：全注意力 Transformer 训练后期可改造为混合架构
Cohere · youtube · 2026-10-23
这是 Cohere Labs 开放科学社区的讲座，由 CMU 电气与计算机工程博士生 Anupam Nayak 主讲（导师 Gauri Joshi，曾在 Google Research NYC 任学生研究员，研究后训练与 RL scaling、持续学习与对齐）。
核心内容
- 探讨模型架构不必在预训练后固定不变，可以在训练后期进行修改。
- 预训练好的全注意力 Transformer 可以被转换为更高效的混合架构（Gated DeltaNet），无需从头重训。
- 此前的转换方法基本能恢复短上下文性能，但难以恢复长上下文推理与检索能力。
- 提出三段管线：表征对齐 + 离策略蒸馏 + 长时间在策略蒸馏，只用原始预训练预算的一小部分即可恢复这些能力。
结论：架构选择在模型训练生命周期的很晚阶段仍可保持灵活。
「研究」频道最新
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- 作者用布尔逻辑造 LM:前向传播单线程仅需几微秒但训练极慢 — cephaloform · 2026-10-23
- AdaDex:几秒人手视频即可教灵巧手学会抓取、抛接等可泛化技能 — mangahomanga · 2026-10-23
- ReAPO 论文:RLVR 中让模型在失败后重试,推理成绩与训练效率双升 — jasondeanlee · 2026-10-23
- 首个可跑在真实量子电路上的 JEPA 世界模型 Quantum-JEPA 发布 — DrMorganLevine · 2026-10-23