复旦邱锡鹏团队长文力学:揭示混合架构六条设计规律
机器之心 · wechat · 2026-11-01
复旦大学、上海创智学院邱锡鹏团队发布《Mechanics of Long-Context Hybrid Models》,系统研究全注意力与滑窗(SWA)/门控线性注意力(GLA/GDN)混合架构的长上下文表现,在 376M–3B 四种规模上实验。
六条结论
- 混合位置优于混合注意力:NoPE(无位置偏置)与带位置偏置注意力混合,在长度外推与扩长训练上更有效
- 滑窗混合的跷跷板效应:SWA-NoPE 外推强但扩长训练不如线性混合
- 线性混合的免费午餐缺失:LA-NoPE 扩长训练强但外推弱
- 潮汐效应:少数 NoPE 注意力做粗粒度全局聚合,多数带偏置模块限制噪声,二者互补是混合架构有效的原因
- 短窗口疲惫与长窗口懒惰:短窗利于短文预训练外推,长窗利于长文续训扩长
- 马太效应:推理时对 GLA/GDN 施加滑窗约束、对 NoPE 做对数校正,实现 4k→64k 十六倍免训练外推且保持 100% 准确率
改进方案包括增大滑窗窗口、结合 LongCE 损失与 SWLA 策略。论文、代码与知乎解读均已公开。
「研究」频道最新
- 生成式长视频漂移问题的新思路：让每帧看到全片 — mangahomanga · 2026-11-04
- Reddit 研究者征集 Chinchilla 缩放定律小规模复现实验经验 — turing-math-labs · 2026-11-04
- TLAPS-Bench 发布:265 个真实系统证明目标,GPT-6.1 Sol 仅解出 44.3% — tianyin_xu · 2026-11-04
- StreamDuo 让游戏解说 AI 看懂没玩过的游戏,实体召回提升近 30% — Zixian Gao · 2026-11-04
- Redwood 研究员析递归自我改进：AI 研究自动化与失控加速可以拆开看 — deanwball · 2026-11-04
- UMAP 0.6 引入 Adam 与动量布局优化器,0.7 将设为默认 — leland_mcinnes · 2026-11-04