学者激辩预训练 scaling 放缓，改进或更多来自算力之外

牛津哲学家 Toby Ord 在与 David Manheim、Dwarkesh Patel 等人的讨论中重申：预训练 scaling 正在放缓且剩余空间不大。Manheim 回应称，边际证据表明预训练质量的提升更多来自增加算力与数据之外的因素，如数据过滤，且低质量数据可能迫使模型构建额外机制、形成预训练质量上限，意味着纯堆算力堆数据的轨迹比宣称的更平缓。

2026-09-09 ~ 2026-09-09 · 4 条相关

• Toby Ord 重申预训练 scaling 正在放缓且空间不大 — tobyordoxford · 2026-09-09
• 学者辩论:预训练提升或更多来自人工改进而非堆算力堆数据 — davidmanheim · 2026-09-09
• 数据过滤被单列为 scaling 改进来源，质量 scaling 上限引争论 — tobyordoxford · 2026-09-09
• 研究讨论:低质量数据或迫使模型构建额外机制,预训练质量存在上限 — davidmanheim · 2026-09-09