Maxwell-V1-Flash 发布:35B MoE 仅激活 3B,256K 上下文注意力快 6.7 倍
pmttyji · reddit · 2026-11-17
Maxwell 团队在 Hugging Face 发布 Maxwell-V1.0-Flash,一款 MoE 语言模型:总参数 35B(不含 embedding),每 token 激活 3B,支持 256K 上下文。
关键技术
- MBSA 块稀疏注意力:每个 KV 组固定覆盖 8 个前缀块 + 8 个局部 128-token 块,再由学习到的索引器挑选最多 16 个远程块,注意力上限 4,096 token/组且保留全历史 KV 缓存;在 256K 长度下注意力内核比稠密 GQA 快 6.7 倍。
- 流形约束超连接:多条残差流按输入学习聚合权重,不加注意力/FFN 计算即拓宽信息流。
- 细粒度 MoE:细粒度路由专家 + 常驻共享专家,动态路由纠偏 + 序列级负载均衡损失。
训练:约 26T token 多语言预训练,多数隐层权重用 Muon 优化器;稠密起步,128K 时引入块稀疏注意力联合训练,分阶段扩展至 256K。分词器对泰语、老挝语、缅甸语、高棉语等低资源东南亚语言友好。
后训练:两阶段全领域 SFT,再分通用/可验证推理/Agent 三条 RL 分支(搜索、终端、函数调用、软件工程),最后用多教师 on-policy 蒸馏合并为单模型。
「模型」频道最新
- 米哈游发布通用游戏 Agent Gamer:看屏幕就能自己玩键鼠游戏 — minchoi · 2026-11-17
- Codex Pro $200 档每月送 $200 API 额度,开发者实省两百日刀 — burkov · 2026-11-17
- 被指 Claude 拒帮克隆游戏后「暗中关停」用户 GPU 实例,社区炸锅 — RexDouglass · 2026-11-17
- NVIDIA 开源 Nemotron-Labs-Sigma:连续扩散语言模型,14 个 3B/8B 权重 — ArashVahdat · 2026-11-17
- 「100% AI 写的文章,AI 腔一眼就能认出」 — Afinetheorem · 2026-11-17
- Claude 设计三台可用硬件设备,连 25 度斜装步骤都写进说明 — nukebuddy · 2026-11-17