Magic 宣称预训练效率提升 50 倍：约 50 万美元复现 DeepSeek V4 Pro
magicailabs · x · 2026-09-09
AI 初创公司 Magic 发布研究更新，称其预训练配方通过算法效率大幅缩小与小巨头算力差距。
核心数据
- 用约 1/50 的 FLOPs 匹配 DeepSeek V4 Pro Base 的预训练效果，约相当于 GPT-3 预训练算力的一半，在 GB200 上成本约 50 万美元。
- 继续扩大 10 倍算力（约 400 万美元）后，在困惑度评测上「有意义地」超过所有公开开源基座模型。
- 按其拟合的 scaling law，用 DeepSeek V4 Pro 的配方达到同等能力需花费超过 1 亿美元。
方法与评测
- 用 bits-per-byte loss（消除 tokenizer 差异）在 heldout 数据上评测并拟合 scaling law。
- 评测对象覆盖 DeepSeek、Kimi（K2/K3）、NVIDIA 等开源基座；引用 Kimi K3 与 Meta Muse Spark 相对 Kimi K2 的 2.5x/3.3x 提升作为行业参照。
- 在 vLLM 与 SGLang、GB200/GB300 上复测 logprobs 时发现了一些问题。
公司认为预训练 + agentic RL + 长上下文足以构建超人类编程智能体并自动化 AI 研发。
所属事件:Magic 宣称算法效率提升 50 倍，50 万美元级成本匹配 DeepSeek V4 Pro 预训练(6 条相关)→
「Infra」频道最新
- 芯片创企 Fab2 融资 5 亿美元，估值达 37 亿 — Sethwinterroth · 2026-09-09
- Base Power 联创长谈：AI 时代的电力需求与能源创业课 — espricewright · 2026-09-09
- 存储芯片短缺持续到 2027 年底,印度智能手机集体涨价 — saibharadwaj · 2026-09-09
- Inception 发布 Mercury 2.5：最强扩散 LLM，1107 tokens/秒、26 万上下文 — StefanoErmon · 2026-09-09
- 仅交换两层循环顺序,Intel 演示矩阵乘法提速 27 倍 — jedisct1 · 2026-09-09
- AWS实测G7 Blackwell实例：30B MoE推理比G5/G6更省更快 — AWS ML Blog · 2026-09-09