贝叶斯模型选择解释:为何小尺度赢家的扩展律配方会在目标尺度翻车
BlackHC · x · 2026-09-09
Andreas Kirsch 发布科普长线程,解释模型扩展时一个隐藏问题:我们在代理尺度(proxy scale)上选出"最佳配方",但它可能在目标尺度上输掉。
核心框架:对理想贝叶斯学习者,"最佳模型"有三种判据,分别对应损失曲线(数据量 vs loss)的三个几何量:
- 终点(final height):最终 checkpoint 的验证损失,对应 posterior-predictive loss
- 总面积(total area):损失曲线下面积,对应负对数边际似然(evidence)
- 尾面积(tail area):后半段曲线,对应 CLML
只要候选模型的损失曲线出现交叉,这三种判据就会排出不同名次——这正是代理尺度赢家会在目标尺度翻车的原因。作者还把同一几何分析迁移到预训练与 LLM 上下文内学习(ICL):k-shot 评估看终点、整段似然看面积、滑动窗口困惑度看尾部,所以 k-shot 赢家取决于 k 的取值。
结论:选择判据应跟随下游使用场景,而非沿用惯例。完整文章含精确恒等式、排序翻转证明、玩具实验与交互面板(发布于 blackhc.net)。
所属事件:贝叶斯模型选择解释扩展律代理尺度赢家为何翻车(12 条相关)→
「模型」频道最新
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27
- FrontierML 基准:Kimi K3.1 Pro 成最强开源模型,但仍远落后 Opus 5.5 — teortaxesTex · 2026-10-27
- Mirendil 发布首个模型 Fern：上下文窗口达 1000 万 token — shayan_ · 2026-10-27
- 七项任务实测:开源模型开高推理档未必更好 — keunwoochoi · 2026-10-27
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27