Maxwell-V1-Flash 发布:35B MoE 仅激活 3B,256K 上下文注意力快 6.7 倍

pmttyji · reddit · 2026-11-17

Maxwell 团队在 Hugging Face 发布 Maxwell-V1.0-Flash,一款 MoE 语言模型:总参数 35B(不含 embedding),每 token 激活 3B,支持 256K 上下文。

关键技术

训练:约 26T token 多语言预训练,多数隐层权重用 Muon 优化器;稠密起步,128K 时引入块稀疏注意力联合训练,分阶段扩展至 256K。分词器对泰语、老挝语、缅甸语、高棉语等低资源东南亚语言友好。

后训练:两阶段全领域 SFT,再分通用/可验证推理/Agent 三条 RL 分支(搜索、终端、函数调用、软件工程),最后用多教师 on-policy 蒸馏合并为单模型。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →