ModernBERT 上下文之争:8192 只是配置字段,下游仍限 512
JFPuget · x · 2026-09-21
JFPuget 回应上下文长度的质疑:ModernBERT 的 maxpositionembeddings: 8192 确实支持 8192 token;下游若自行加了更小的限制(如 laya 卡片标 512、agent 配置 maxlen 512、laya-multilingual 标 1024),这些限制可以安全移除。争论核心是官方架构支持与实际部署配置之间的上下文口径不一致。
所属事件:ModernBERT 类模型长上下文能力引争议(5 条相关)→
「模型」频道最新
- Google 发布 Gemini Decision 1：不生成文本、单次评分上千道题 — shensi · 2026-11-12
- 用血染钟楼测模型撒谎：Kimi K3.1 Pro 居开源模型之首，仅次于 GPT 5.5 — eliebakouch · 2026-11-12
- 开源 Iris-Z 首次让图像生成与深度估计共用一个骨干，9B/32B 全开放 — victormustar · 2026-11-12
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 陶哲轩坦承：看 ChatGPT 雅可比猜想对答也曾被信息量淹没 — ChrisGPotts · 2026-11-12
- 网友辟谣:「Anthropic Opus 5.5 训练成本超 100 亿美元」系假消息 — ns123abc · 2026-11-12