ModernBERT 架构细节:28 层中 18 层仅用 128 token 滑窗
AIQuanting · x · 2026-09-21
AIQuanting 补充指出,该模型配置文件里的 28 层并不均匀:18 层采用 128 token 的局部滑动窗口注意力,只有 10 层做全序列注意力。也就是说,尽管 maxpositionembeddings 支持到 8192,模型大部分层实际只做局部阅读。
后续对话进一步澄清:maxpositionembeddings: 8192 只是配置字段,下游 laya 系列卡片标 512、agent 配置限 512、laya-multilingual 等标 1024,实际可用上下文取决于具体部署,人为加的限制可以安全移除。
所属事件:ModernBERT 类模型长上下文能力引争议(5 条相关)→
「模型」频道最新
- Google 发布 Gemini Decision 1：不生成文本、单次评分上千道题 — shensi · 2026-11-12
- 用血染钟楼测模型撒谎：Kimi K3.1 Pro 居开源模型之首，仅次于 GPT 5.5 — eliebakouch · 2026-11-12
- 团队复现全部 9 个「权重空间编程」实验，结论有涨有跌 — burny_tech · 2026-11-12
- 开源 Iris-Z 首次让图像生成与深度估计共用一个骨干，9B/32B 全开放 — victormustar · 2026-11-12
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 陶哲轩坦承：看 ChatGPT 雅可比猜想对答也曾被信息量淹没 — ChrisGPotts · 2026-11-12