EUROPA 联盟用 PyTorch 在欧洲超算上训练 1T 参数 MoE,单卡吞吐提升 14 倍
PyTorch · x · 2026-11-12
EUROPA 联盟(Domyn 与 Fraunhofer)在 EuroHPC 旗下 Forschungszentrum Jülich 的 JUPITER 共享超算上,借助 PyTorch 与 TorchTitan 成功扩展约 1 万亿参数 MoE 模型的预训练,单 GPU 吞吐从 90 提升至约 1300 tokens/s(每副本 384 块 GH200,96 节点)。
模型总参数 951.9B(每 token 激活 32.8B),74 层、384 个专家 top-8 路由、词表 256K、序列长度 65536,优化器用 Muon + AdamW。项目属于 EU Frontier AI Grand Challenge,目标是训练至少 400B 参数、支持全部 24 种欧盟官方语言且符合欧盟 AI 法案的开源 MoE 模型,证明主权开源 AI 可在共享公共算力上达到前沿规模。
「Infra」频道最新
- SpaceX 南哈佛数据中心每年为当地学区县市净赚 6300 万美元 — 0xAllen_ · 2026-11-12
- 量子计算公司 Q-CTRL 宣布 C 轮融资，Salesforce 领投 — MJBiercuk · 2026-11-12
- 2020 年 ThinkPad 无 GPU 跑 35B 模型生成体素宝塔,耗时 1.5 小时 — dai_app · 2026-11-12
- Nebius Q3 营收 9.81 亿美元涨 68%，客户预付超 120 亿美元锁算力 — demian_ai · 2026-11-12
- llama.cpp 星标突破 13.4 万，本地 LLM 推理标准持续扩张 — ggml-org · 2026-11-12
- Zig 写的 LLM 推理引擎 TensorFold 单日涨 58 星 — ashhart · 2026-11-12