字节 FlashMorph2:在线策略层选择改造混合注意力模型
ByteDance-Seed · hf · 2026-11-20
字节 Seed 团队提出 FlashMorph2,一种在线策略(on-policy)层选择方法,把预训练 Transformer 转换为全注意力与线性注意力混合的混合架构。
- 指出前作 FlashMorph 的两类 off-policy 失配:连续分支插值 + teacher-forced 隐藏态与离散混合组合不一致;冻结权重无法适配后续恢复训练。
- FlashMorph2 用模型自身的隐藏态端到端评估采样的离散混合架构,并在恢复预算下联合优化层选择分数与模型权重。
- 在多个规模上高效选层,同时提升长上下文基准成绩。
「研究」频道最新
- BitDecoding-FP4:原生 FP4 KV 缓存解码,精度不输 BF16 — kalyan_kpl · 2026-11-20
- ICML 2026 论文:多智能体 LLM 辩论会涌现集体偏见,源自阿伦特'平庸之恶' — Hidenori8Tanaka · 2026-11-20
- 腾讯 WeVisForensics:自进化 Agent 检测 AI 生成视频 — tencent · 2026-11-20
- KAIST VSpark:投机解码让 VLA 机器人模型提速至 2.1 倍 — kaist-ai · 2026-11-20
- 亚马逊 CompoundingKernel:自进化 Agent 写 GPU 核冲上榜单第一 — AmazonScience · 2026-11-20
- WAM-Policy:四足机器人用前腿操作,语言指令跟随首度实现 — Maincode · 2026-11-20