美团开源 LongCat-2.0:国产卡训练1.6万亿MoE

赛博禅心 · wechat · 2026-07-05

美团正式开源大模型 LongCat-2.0(昵称「龙猫」),为 1.6 万亿参数 MoE 架构,动态激活 33B~56B,原生支持百万 token 上下文。官方公布的六个 Agent 方向 benchmark 中,整体成绩排在 Claude、GPT 之后,与 Gemini 3.1 Pro 基本同档。

最大亮点在于训练与推理完全跑在国产 AI ASIC 集群上:训练峰值动用超过 5 万张国产卡且 0 回滚,显存压到 60GB 以下(对应国产卡约 60GB HBM)。为缓解跨卡通信瓶颈,团队采用 ScMoE 架构让 Dense FFN 计算与 MoE 通信并行,理论上将推理延迟减半;并引入「空专家」机制实现动态激活——简单 token 实际激活 33B、复杂 token 拉满 56B。

百万上下文采用自研 LongCatSparseAttention(对标 DeepSeek V3.2 的 DSA),通过相邻层复用索引、先按块粗筛再细选来降低打分开销;另自研高性能确定性算子,将训练稳态日吞吐做到 1T tokens。预览版曾以 OwlAlpha 匿名登陆 OpenRouter 两个月,月调用量全球前三,并支持通过 Codex 切换调用。

所属事件:美团开源LongCat-2.0万亿模型(3 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →