复旦 OpenMOSS 发长文:长上下文混合架构学得多却外推弱
jiqizhixin · x · 2026-11-17
复旦大学、上海创新研究院与 OpenMOSS 团队发布 arXiv 预印本《Mechanics of Long-Context Hybrid Models》,系统研究长上下文混合架构「训练窗口内学得更多、窗外外推更不可靠」的权衡。三大发现:
- 位置行为与注意力类型同等重要:NoPE 注意力提供宽泛聚合,而滑动窗口、RoPE 与门控线性机制各自引入不同的位置偏置,可与 NoPE 互补。
- 滑动窗口混合模型短上下文训练后外推良好,但长上下文继续训练后优势可能反转;更大窗口与 LongCE 有助缓解对局部上下文的过学习,线性混合则在拟合与外推间提供不同平衡。
- 滑动窗口线性注意力在推理时限制了有效相对位置范围(帖子在此处截断)。
这是一份对混合注意力/线性注意力架构设计的机制性分析,对长上下文模型训练与位置编码选型有直接参考价值。
「模型」频道最新
- 「人类也是线性因果地阅读」:为 Transformer 辩护的类比 — yacineMTB · 2026-11-17
- 实验发现:让模型写代码时,Opus 97% 调用自家 Claude API — santiviquez · 2026-11-17
- 同一实验:Opus 仅 10/60 回答使用搜索,GPT 模型次次都搜 — santiviquez · 2026-11-17
- 3360 次 API 推荐实验:79% 流向四大云厂商 — santiviquez · 2026-11-17
- 网友实测 Hy4 Flash:质量接近 DeepSeek-V4.1,成本仅 1/15 — IlovedamemesUwU · 2026-11-17
- OmniMemEval 排行榜遭质疑:条件不一致、整合随意、还在刷榜 — Snoo-bedooo · 2026-11-17