超长上下文架构怎么走
zephyr_z9 · x · 2026-07-17
这条转推讨论的是**超长上下文**的架构演进：K3 已经跨过 **100 万上下文长度**门槛，DeepSeek 的稀疏注意力也达到了同级别。 作者追问下一步会走向哪里：**5M、10M 甚至更长**的序列长度。其观点是，**固定状态的线性注意力**，尤其是 **GDN/KDA** 这类方法，在长上下文场景里很有竞争力；混合架构兼顾可扩展性和对更长序列的外推能力，配合 **NoPE** 处理位置关系会更方便。作者还设想，未来可能会出现把 **linear / sparse / full attention** 融合在一起的混合架构，用于突破长时程 agent 任务的瓶颈。