Magic称预训练效率提升逾10倍，约50万美元复现DeepSeek V4 Base
oran_ge · x · 2026-11-15
AI 创业公司 Magic 发布预训练效率研究更新，称其配方经持续复利改进，计算效率已超领先开源权重基座模型 10 倍以上。
- 用约 1/50 的 FLOPs 匹配 DeepSeek V4 Pro Base，约等于 GPT-3 一半的训练算力，GB200 上约 50 万美元即可达成
- 再扩大 10 倍算力（约 400 万美元）后，在困惑度评测上超过所有公开开源基座模型
- 按其 scaling law 推算，同等能力用 DeepSeek V4 Pro 配方训练需超 1 亿美元
- 评测采用 bits-per-byte loss（消除 tokenizer 差异），对比 DeepSeek、Kimi、NVIDIA 等开源基座
- 团队认为预训练 + agentic RL + 长上下文足以造出超人编码 agent 并自动化 AI 研发
orange 引用称 Magic 两个月前已报告类似曲线（其案例中提升 505 倍），并感叹「我们可能也不需要那么多显卡」。
「Infra」频道最新
- 分析：黄仁勋靠「人情世故」锁死英伟达亚洲供应链 — _onionesque · 2026-11-15
- 开发者实测：同时跑 3 个 AI Agent,32GB 内存也不够用 — PawelHuryn · 2026-11-15
- 从零学分布式训练:Reddit 网友精选 10 篇入门资源清单 — East-Muffin-6472 · 2026-11-15
- 传 Nvidia 临时 CEO 复查客户融资计划,3000 亿美元 OpenAI 俄亥俄芯片协议或生变 — SumitGup · 2026-11-15
- 跑 Agent 不必买 3 千美元 Mac mini,千美元翻新戴尔微型机够用 — PawelHuryn · 2026-11-15
- Pirate Face 用种子镜像 HuggingFace，已收录 2.8 万个开源模型磁力链 — zainhas · 2026-11-15