ModernBERT 上下文之争:8192 只是配置字段,下游仍限 512
JFPuget · x · 2026-09-21
JFPuget 回应上下文长度的质疑:ModernBERT 的 maxpositionembeddings: 8192 确实支持 8192 token;下游若自行加了更小的限制(如 laya 卡片标 512、agent 配置 maxlen 512、laya-multilingual 标 1024),这些限制可以安全移除。争论核心是官方架构支持与实际部署配置之间的上下文口径不一致。
所属事件:ModernBERT 长上下文之争：滑窗结构与8192上限引质疑(5 条相关)→
「模型」频道最新
- 实测 Codex computer use:Astra 稳定，Luna/Sol 频繁失灵 — FamilyNP · 2026-09-21
- 实测发现 service_tier=fast 仅限 API，ChatGPT 订阅通道不支持 — TrickyPlastic · 2026-09-21
- 中国开源模型 OpenRouter 消费额狂飙：Moonshot 涨 2425% — FinanceYF5 · 2026-09-21
- Yacine 吐槽：编程 LLM 产出全是不必要的复杂垃圾 — yacineMTB · 2026-09-21
- 研究者指出：LLM 写的 related work 很有说服力但不等于全面 — lucacarlone1 · 2026-09-21
- The Information:OpenAI 新模型 Astra 所用秘技引发安全担忧 — keviv9 · 2026-09-21