Laya 并非仅支持 512 上下文:实为 ModernBERT,配置上限 8192
antoine_chaffin · x · 2026-09-21
针对「Laya 只支持 512 上下文」的传言，JF Puget 澄清：查看 Hugging Face 上的文件即可发现，该编码器基于 ModernBERT，tokenizer 和模型配置文件的 max length 均为 8192 tokens。Antoine Chaffin 补充指出，ModernBERT 架构（包括 Ettin 与 mmBERT）早已展示出强大的长上下文性能，同时能高效扩展到长序列，建议读论文。
「模型」频道最新
- 开发者吐槽:没想到有一天会掏钱买 Meta 的编程订阅 — intellectronica · 2026-09-21
- 传 Anthropic 内测 Opus 5.2/5.5,高管预期判断力差距难持久 — teortaxesTex · 2026-09-21
- Astra 擅长沟通、Fable 擅长长程任务,开发者分享多模型分工工作流 — seatedro · 2026-09-21
- 开发者热议:零样本 embedding 分类器是偷懒还是正解? — antoine_chaffin · 2026-09-21
- Bespoke 基于 Qwen3.5-9B 发布 Nimble 文本分类 LoRA,主打证据锚定 — bespokelabs · 2026-09-21
- Sophia Yang 拿到 Jev 访问权,用 Fireworks 跑 RL 实验 — sophiamyang · 2026-09-21