复旦 OpenMOSS 发长文:长上下文混合架构学得多却外推弱

jiqizhixin · x · 2026-11-17

复旦大学、上海创新研究院与 OpenMOSS 团队发布 arXiv 预印本《Mechanics of Long-Context Hybrid Models》,系统研究长上下文混合架构「训练窗口内学得更多、窗外外推更不可靠」的权衡。三大发现:

这是一份对混合注意力/线性注意力架构设计的机制性分析,对长上下文模型训练与位置编码选型有直接参考价值。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →