Magic 官宣预训练配方效率提升逾 10 倍,剑指万亿参数与自动化 AI 研发

Dr_Singularity · x · 2026-09-09

Magic 发布研究博客,详解其计算高效预训练路线:没有 10 万卡,只能靠算法效率。核心内容:

新配方比领先开源权重基座模型效率高 10 倍以上;用约 1/50 FLOPs(约等于 GPT-3 预训练算力的一半,约 50 万美元 GB200 算力)匹配 DeepSeek V4 Pro Base
继续扩展 10 倍(约 400 万美元)后,在困惑度评测上显著超过所有公开开源基座模型;按其拟合的 scaling law,用 DeepSeek V4 Pro 配方达到同等能力需超过 1 亿美元
方法:用 bits-per-byte loss(消除 tokenizer 差异)在 heldout 数据上评测并拟合 scaling law,评测覆盖 DeepSeek、Kimi、NVIDIA 的开源基座;并指出在 vLLM/SGLang 上测开源模型 logprobs 时发现了若干问题
战略判断:预训练 + agentic RL + 长上下文足以构建超人编程智能体并自动化 AI 研发;团队已从长上下文入手,本次聚焦预训练,下一步继续 scaling 到万亿参数

「Infra」频道最新