论文横评 26 个 7B 模型：省算力的架构反而不擅长长上下文
eyishazyer · x · 2026-08-17
该论文在固定数据、tokenizer 和上下文扩展方案的前提下，对比了 26 个规模均为 7B 的可比模型，唯一变量是 4 种架构选择。核心发现：一些让 transformer 更便宜、更稳定的架构选择，反而使其更难扩展到长上下文——模型在短上下文预训练中表现完全正常，仍可能不适合后续做长上下文。发帖人据此评论：短上下文 benchmark 显然没讲出全貌，长上下文压力测试应当更早进行。
所属事件:COLM 多篇论文指 Transformer 标配设计拖累长上下文(4 条相关)→
「模型」频道最新
- LLM-as-a-Verifier 让 Nemotron 3.5 超 Terminal-Bench 提 9 分 — simonguozirui · 2026-10-16
- Bonsai 2 三值小模型实测：4B 性价比最佳，27B 一个技能意外掉链子 — cephaloform · 2026-10-16
- Meta 多语言 ASR 覆盖 1600 种语言，入选 TIME 2026 最佳发明 — AIatMeta · 2026-10-16
- Apollo:GLM-53 展现史无前例的更新感知推理 — repligate · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- 用户吐槽 ChatGPT 越来越多 bug:扩展失效、Computer Use 反复索要权限 — sytelus · 2026-10-16