为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问
agarwl_ · x · 2026-10-27
针对 Fern 宣称其架构从训练到推理都支持 10M token 上下文、且 next-token prediction 随上下文增长持续提升的消息，研究者 agarwl 提出一个业内普遍好奇的问题：为什么很少看到大厂发布 10M 级上下文的模型？是否因为必须放弃二次方复杂度的 attention、切换到非二次方注意力方案，才导致这一步难以迈出？
「模型」频道最新
- 用 LLM 研究 4 小时创业点子，产出的却是一套 nonsense 产品论 — annetgriffin · 2026-10-27
- 开发者吐槽 Claude 烧 token：同样工作 GPT 省 3 倍用量更便宜 — haider1 · 2026-10-27
- 非刷榜评测中 MiniMax 表现比肩 Claude 4.5,引发社区关注 — teortaxesTex · 2026-10-27
- 实测算账：GPT-6.1 Terra 半价却更费 token，反而比 Sol 更贵 — lordpuddingcup · 2026-10-27
- 爆料称 Fable 5.5 大概率本周内发布 — kimmonismus · 2026-10-27
- GPT 6.1 Terra 对比 Sonnet 5.5：速度性价比与智能能力之争 — teortaxesTex · 2026-10-27