Magic 宣称预训练效率提升 50 倍：约 50 万美元复现 DeepSeek V4 Pro
magicailabs · x · 2026-09-09
AI 初创公司 Magic 发布研究更新，称其预训练配方通过算法效率大幅缩小与小巨头算力差距。
核心数据
- 用约 1/50 的 FLOPs 匹配 DeepSeek V4 Pro Base 的预训练效果，约相当于 GPT-3 预训练算力的一半，在 GB200 上成本约 50 万美元。
- 继续扩大 10 倍算力（约 400 万美元）后，在困惑度评测上「有意义地」超过所有公开开源基座模型。
- 按其拟合的 scaling law，用 DeepSeek V4 Pro 的配方达到同等能力需花费超过 1 亿美元。
方法与评测
- 用 bits-per-byte loss（消除 tokenizer 差异）在 heldout 数据上评测并拟合 scaling law。
- 评测对象覆盖 DeepSeek、Kimi（K2/K3）、NVIDIA 等开源基座；引用 Kimi K3 与 Meta Muse Spark 相对 Kimi K2 的 2.5x/3.3x 提升作为行业参照。
- 在 vLLM 与 SGLang、GB200/GB300 上复测 logprobs 时发现了一些问题。
公司认为预训练 + agentic RL + 长上下文足以构建超人类编程智能体并自动化 AI 研发。
所属事件:Magic 宣称 1/50 算力匹敌 DeepSeek V4 Pro 预训练(11 条相关)→
「Infra」频道最新
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- 多州暂停新建数据中心，72% 美国人反对建在家门口 — YvesMulkers · 2026-10-26
- 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
- HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26
- CircuitHub 发布工厂级机器人 The Grid，美国产 PCB 提速两倍对标深圳 — garrytan · 2026-10-26