ModernBERT 类模型长上下文之争:28 层中 18 层实为 128 词滑动窗口
AIQuanting · x · 2026-09-21
AIQuanting 在讨论中指出,ModernBERT 类模型虽然 README 写明可把 maxlen 提升到 2048、4096 甚至 8192,但拉长配置并不能改变注意力结构本身:该模型的 28 层里有 18 层是 128 token 的滑动窗口注意力,只有 10 层是全局注意力,大部分层实际只在局部读取。这一观察回应了此前「支持 8192 token」的说法,指出所谓长上下文支持存在结构性限制。
所属事件:ModernBERT 类模型长上下文能力引争议(5 条相关)→
「模型」频道最新
- Google 员工晒 AI Studio 新设计，意外提及未发布的 Gemini 4 Carbon — ammaar · 2026-11-12
- HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86% — ChowdhuryNeil · 2026-11-12
- DeepMind Code Summit 演讲放话：推理速度将迎大幅提升 — altryne · 2026-11-12
- 不让模型自己写一个字：用工具链让 Fable 5.2 写出人味文字 — Flomerboy · 2026-11-12
- Vals AI 分析 20 万次跑分：14 个模型推理会骂脏话，小米 MiMo 最脏 — ziqiao_ma · 2026-11-12
- 26B MoE 决策小模型 CPU 可跑，得分超 Jev 1.13 — gauravapiscean · 2026-11-12