Anthropic IPO 路演图曝光:预训练算力效率超指数提升引热议
一张来自 Anthropic IPO 路演的幻灯片被公开,展示预训练算力效率(compute multiplier)随时间的变化:纵轴为对数刻度,曲线呈持续的超指数级改进。分享该图的前 Anthropic 员工(被多方转述为 hilbertspaess / Jacob Coxon)称,这页幻灯片是其决定离职的重要因素之一,并惊讶公司竟然将其公开。该图迅速引发社区热议。
已确认
- 幻灯片来自 Anthropic IPO 路演,展示预训练算力效率随时间的变化,y 轴为对数刻度,呈超指数级上升趋势。
- 分享者自称前员工,称该图是其离职的重要考量,并对公司公开此图表示惊讶。
- 多位转述者据此认为 Mythos 并非一次性突破,而是超指数曲线上的一点,Anthropic 现在可能只需当初零头的算力就能重训该模型。
- sytelus 分析图表后指出,关键结论是预训练计算效率约实现 25 倍的逐年提升,但考虑效率增长的多项式曲线特性,实际倍数需打折看待;他还提醒不要简单用倍数乘以 flops 来推算训练算力。
- Elie Bakouch 回应争议:该图标注了「基于内部近似、仅供示意」,更像被断章取义的示意性图表,不宜苛责 Anthropic;图中使用的是相对 GPT-2 的基线。
尚未确认
- teortaxesTex 明确质疑,不相信 Anthropic 已把算法改进到在同数据量/同算力(isodata、isoflop)条件下让 bpb 获得数倍级提升,认为若属实将是惊人的;他也承认原图本身含糊不清。
- willcb 提出一个解释框架:若给定算力预算与评测集存在「最优数据集」,用上一代 Claude 做数据策展 RL、把预训练语料换成 Claude 策展的数据,数据质量可换来数量级的效率,这或可解释图中趋势,但这只是推测而非已证事实。
为什么重要
- 若超指数效率提升属实,意味着头部前沿模型的训练成本优势会快速拉大,同性能所需算力可能只需原先零头,对竞争格局和算力需求预测都有重大含义。
- 争议本身也提示:单张路演示意图在社区传播中容易被过度解读,图表口径(基线、isoflop 条件、示意标注)决定了结论的可靠性。
2026-11-14 ~ 2026-11-15 · 12 条相关
一手来源
- Anthropic IPO 图表曝光:训练算力效率呈超指数级提升 — 141_1337 ·
- 质疑 Anthropic 算法大跃进:同算力下 bpb 大幅提升不可信 — teortaxesTex ·
- 研究员 Elie Bakouch 回应 Anthropic 图表争议:不宜苛责 — eliebakouch ·
- Anthropic IPO 路演图曝光:预训练算力效率呈超指数进步 — eli_lifland · 2026-11-14
- 【源头】质疑 Anthropic 算法大跃进:同算力下 bpb 大幅提升不可信 — teortaxesTex · 2026-11-14
- Anthropic 路演图曝预训练效率超指数进步,前员工称「进步多靠数据」 — sebkrier · 2026-11-14
- Anthropic 疑用「数据策展 RL」堆预训练数据,数据质量可换数量级效率 — willcb · 2026-11-14
- Anthropic 预训练算力效率年同比提升约 25 倍 — sytelus · 2026-11-14
- 【源头】研究员 Elie Bakouch 回应 Anthropic 图表争议:不宜苛责 — eliebakouch · 2026-11-14
- Anthropic IPO 路演图引热议:Mythos 或可用零头算力重训 — Witty_County5128 · 2026-11-15
另有 5 条近重复转述:minhnguyen · sebkrier · anshulkundaje · 141_1337 · gleech