渐进式上下文扩展更适合线性注意力混合模型
stochasticchasm · x · 2026-07-28
渐进式上下文扩展，对线性注意力混合模型更关键
这条帖子讨论的是一种 progressive context extension 训练思路。作者认为，它对 linear attention hybrids 尤其重要，因为随着上下文变长，全局层和局部层都要一起适应；而在 short-SWA hybrids 里，真正需要大幅调整的主要是全局层。
回复里补充了两个点：
- 合成数据 对长上下文训练很有价值，因为真实长上下文数据本来就稀缺
- 这种方法和最近的 megadocs 思路可能很接近
配图进一步说明了训练时逐步拉长上下文的做法，目的是让模型逐渐学会处理更长距离依赖。
「编程与Agent」频道最新
- 开发者实测排序：Fable 仍强于 Sol 和 Opus 5 — holdenmatt · 2026-07-28
- 一套 Codex、Claude Design、Fable 前端工作流 — EverydayAI_ · 2026-07-28
- x402 Builder Codes 让应用和智能体路由需求也能分成 — kleffew94 · 2026-07-28
- Claude Code 创始人称创业机会在未被产品化的模型能力 — ycombinator · 2026-07-28
- 同一模型规格，不同 coding agent 给出差异估计 — JessicaHullman · 2026-07-28
- Codex 自动化每小时盯房源，先一步抢到旧金山公寓 — nickbaumann_ · 2026-07-28