学者激辩预训练 scaling 放缓，改进或更多来自算力之外

围绕预训练 scaling 前景，学者展开辩论。牛津哲学家 Toby Ord 在与 David Manheim、Dwarkesh Patel 等人的讨论中重申：预训练的 scaling 正在放缓且剩余空间不大。David Manheim 回应称，有边际证据表明预训练质量的提升更多来自「增加算力/数据」之外的因素，例如数据过滤等人工改进，这意味着纯堆算力、堆数据的发展轨迹可能比宣称的更平缓、更受限制。

2026-09-09 ~ 2026-09-09 · 3 条相关

• Toby Ord 重申预训练 scaling 正在放缓且空间不大 — tobyordoxford · 2026-09-09
• 学者辩论:预训练提升或更多来自人工改进而非堆算力堆数据 — davidmanheim · 2026-09-09
• 数据过滤被单列为 scaling 改进来源，质量 scaling 上限引争论 — tobyordoxford · 2026-09-09