混合注意力长上下文性能与全注意力持平,作者称「只是更便宜」
antoine_chaffin · x · 2026-09-21
在关于其模型长上下文的讨论中,作者 antoinechaffin 回应质疑称:混合滑动窗口+全局注意力并非问题,长上下文性能与每层全注意力相当,「只是更便宜」。此前 AIQuanting 指出该模型 28 层中 18 层是 128 token 滑动窗口、仅 10 层全局注意力,即使支持 8192 token 也大部分在局部读取。
所属事件:ModernBERT 类模型长上下文能力引争议(5 条相关)→
「模型」频道最新
- 用血染钟楼测模型撒谎：Kimi K3.1 Pro 居开源模型之首，仅次于 GPT 5.5 — eliebakouch · 2026-11-12
- 开源 Iris-Z 首次让图像生成与深度估计共用一个骨干，9B/32B 全开放 — victormustar · 2026-11-12
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 陶哲轩坦承：看 ChatGPT 雅可比猜想对答也曾被信息量淹没 — ChrisGPotts · 2026-11-12
- 网友辟谣:「Anthropic Opus 5.5 训练成本超 100 亿美元」系假消息 — ns123abc · 2026-11-12
- Domingos 贴图否定指数增长：前沿模型能力每年仅线性涨 16.5 分 — pmddomingos · 2026-11-12