美团开源 LongCat-2.0:国产卡训练1.6万亿MoE
赛博禅心 · wechat · 2026-07-05
美团正式开源大模型 LongCat-2.0(昵称「龙猫」),为 1.6 万亿参数 MoE 架构,动态激活 33B~56B,原生支持百万 token 上下文。官方公布的六个 Agent 方向 benchmark 中,整体成绩排在 Claude、GPT 之后,与 Gemini 3.1 Pro 基本同档。
最大亮点在于训练与推理完全跑在国产 AI ASIC 集群上:训练峰值动用超过 5 万张国产卡且 0 回滚,显存压到 60GB 以下(对应国产卡约 60GB HBM)。为缓解跨卡通信瓶颈,团队采用 ScMoE 架构让 Dense FFN 计算与 MoE 通信并行,理论上将推理延迟减半;并引入「空专家」机制实现动态激活——简单 token 实际激活 33B、复杂 token 拉满 56B。
百万上下文采用自研 LongCatSparseAttention(对标 DeepSeek V3.2 的 DSA),通过相邻层复用索引、先按块粗筛再细选来降低打分开销;另自研高性能确定性算子,将训练稳态日吞吐做到 1T tokens。预览版曾以 OwlAlpha 匿名登陆 OpenRouter 两个月,月调用量全球前三,并支持通过 Codex 切换调用。
所属事件:美团开源LongCat-2.0万亿模型(3 条相关)→
「Infra」频道最新
- AI 数据中心时代用电论战:有人还在纠结灯泡省电与调整时区 — mgostIH · 2026-10-27
- 法律 AI 公司 Legora 在 Modal 上并行跑 2000 个 agent eval — blelbach · 2026-10-27
- 云厂商发布速度打分:AWS 95 分领先,Azure 90、谷歌云 82 — DavidLinthicum · 2026-10-27
- 卖掉 5090 换多机?一公司主拆解本地推理硬件扩展五套方案 — Anarchaotic · 2026-10-27
- AWS 教程:SageMaker SDK v3 搭建车队级边缘视觉模型流水线 — AWS ML Blog · 2026-10-27
- Embedl 把 Qwen3.8-27B 压进 Jetson Thor:解码 40 tok/s,精度反超 FP16 — No-Dragonfly6246 · 2026-10-27