苹果发表 Attention→Mamba 跨架构蒸馏配方,让 SSM 继承 Transformer 能力
zerop · hn · 2026-11-11
Apple 机器学习团队发布《Attention to Mamba》研究,提出一套将 Transformer 的注意力能力蒸馏进 Mamba 类状态空间模型的配方。
- 核心问题:Mamba 等线性架构推理高效,但直接训练在能力上逊于同规模注意力模型,能否用蒸馏弥补?
- 方法:文中给出可复用的跨架构蒸馏流程,让 Mamba 学生模型从 Transformer 教师模型继承知识与行为。
- 意义:若蒸馏有效,有望结合注意力模型的能力与线性架构的推理效率优势。
详见 Apple ML Research 博客原文。
「研究」频道最新
- Inkling 2 Small 采纳 Kimi 注意力残差机制,作者拆解实现细节 — akbirthko · 2026-11-13
- GovAI 新论文：通用 AI 何时能自主控制军用无人机 — sethlazar · 2026-11-13
- 论文主张防御网络攻击须先教会 AI Agent 搞黑客攻击 — terryyuezhuo · 2026-11-13
- SimpleHC：去掉残差混合，仅 2.4% 额外训练时间逼近 mHC 性能 — dots-studio · 2026-11-13
- 蚂蚁集团发布 Duo：支持实时全双工音视频交互的互惠世界模型 — inclusionAI · 2026-11-13
- NVIDIA 发布 BirdDreams：联合生成透视图与 BEV 的自动驾驶世界模型 — nvidia · 2026-11-13