贝叶斯模型选择解释扩展律代理尺度赢家为何翻车

9 月 9 日，Andreas Kirsch（@BlackHC）发布长篇科普线程并附完整文章《贝叶斯模型选择与扩展律》，解释模型扩展中一个被忽视的问题：在代理尺度上选出的「最佳配方」可能在目标尺度上输掉，因为损失曲线会随规模增长而交叉，导致排名反转，而三种「最佳」判据回答的是不同问题。次日 Gerard Sans 转发讨论，将其归纳为扩展中的经典难题，并延伸到其对评测方法的影响。

已确认

• 核心理论框架：对理想贝叶斯学习者，由概率链式法则，负对数证据恰好等于其损失曲线下面积。由此三种判据各有所指：验证损失估计曲线终点，CLML（对数边缘似然差）是尾面积，贝叶斯证据评估整条轨迹。
• 定量结果：在损失下限相同的情况下，三种判据以不同速率区分模型（Δλ 为模型复杂度差）。终点差距约 Δλ/N，趋于消失——对应 LOO-CV 不一致（引 Shao 1993）；尾部与总面积的分离特性各不相同，尾面积保留增长信号，总面积则可无界增长。
• 贝叶斯证据能恢复 held-out loss 失效的维度信息（如 Bayesian PCA 场景，引 Lotfi et al. 2022），但前提是等数据量（equal data）比较。
• 损失曲线交叉由三种机制塑造：模型误设决定损失下限；模型复杂度决定后期 1/n 过量误差；先验拟合度与强度决定早期行为。
• 学术脉络：尾面积判据可追溯到 1990 年代研究，两模型间 CLML 差即 log partial Bayes factor，当年的权衡今天依然成立：固定比例的尾部只保留常量信号。
• 实践警告：SGD 并不继承贝叶斯证据恒等式，对首轮损失的累计求和依赖具体 pipeline 与数据顺序，本质是 prequential 分数而非贝叶斯证据；但曲线的几何结构与分析思路可从贝叶斯情形迁移到普通训练运行。
• 讨论延伸：@gerardsans 在回复中把问题概括为小规模代理实验选出的最优训练配方到目标规模不再最优，并探讨三种判据在 scaling 下何时互相矛盾及其对评测的启示。
• 作者同日另发帖批评当前数据筛选（curation）方法存在大盲区：直接套用为旧神经网络设计、从未针对 Transformer 定制的理念，忽略 token 同构结构，把筛选、损失函数和「堆更多数据」当成通用 ML 问题；他主张 Transformer 学习的是共现几何，筛选方法应据此重新设计。

为什么重要

扩展律实验通常在小规模代理实验上挑选配方再放大，而该工作从贝叶斯模型比较角度系统说明了这种外推何时、为何会失效，为扩展律研究中的配方选择提供了理论化的判据区分，有助于避免「代理尺度赢家在目标尺度翻车」的资源浪费；其对数据筛选方法的批评也提示配套的数据工程同样需要为 Transformer 重新审视。

2026-09-09 ~ 2026-09-10 · 12 条相关

• 贝叶斯模型选择解释:为何小尺度赢家的扩展律配方会在目标尺度翻车 — BlackHC · 2026-09-09
• 贝叶斯模型选择科普:损失曲线交叉时,三种「最佳」判据会选出不同赢家 — BlackHC · 2026-09-09
• 【源头】为何是这三种判据:负对数证据就是损失曲线下面积 — BlackHC · 2026-09-09
• 损失曲线为何交叉:三种机制决定贝叶斯学习曲线形状 — BlackHC · 2026-09-09
• 作者提醒:SGD 不继承贝叶斯恒等式,累计损失是 prequential 分数 — BlackHC · 2026-09-09
• 贝叶斯视角：模型复杂度差决定三种分离速率，LOO-CV 不一致 — BlackHC · 2026-09-09
• 三种"最佳"判据分离速率不同:LOO-CV 不一致,总面积无界增长 — BlackHC · 2026-09-09
• 【源头】贝叶斯证据能恢复 held-out loss 失效的维度,但前提是等数据量 — BlackHC · 2026-09-09
• 贝叶斯模型选择线程补文献:尾面积判据可追溯到 1990 年代研究 — BlackHC · 2026-09-09
• 代理规模选出的训练配方为何在大规模会失效：贝叶斯解释 — gerardsans · 2026-09-10
• 数据筛选照搬旧神经网络思路有大盲区:Transformer 学的是共现几何 — BlackHC · 2026-09-10

另有 1 条近重复转述:BlackHC