贝叶斯视角：模型复杂度差决定三种分离速率，LOO-CV 不一致
BlackHC · x · 2026-09-09
BlackHC 讨论模型选择中的损失分离速率问题：在相等损失下界下，模型以三种不同速率分离（Δλ 为模型复杂度差）。
- 最终高度：差距约 Δλ/N，对应 LOO-CV 不一致（引 Shao 1993）
- 后半段尾部：约 Δλ·log 2，为常数
- 总面积：约 Δλ·log N，随 N 无界增长
作者指出，在讨论「最优模型」前必须先明确我们看重学习（和部署）的哪个部分。完整推导包括精确恒等式、翻转顺序结果、交叉背后的机制区段，以及玩具实验和交互面板，见原帖链接。
所属事件:贝叶斯模型选择解释扩展律代理尺度赢家为何翻车(12 条相关)→
「研究」频道最新
- 新论文:数据配比与学习率调度必须联合设计 — jasondeanlee · 2026-10-27
- 学术研究如何真正被采用:选重要问题、做好 eval、易用性决定影响力 — srchvrs · 2026-10-27
- 苦涩教训第二弹:能产生影响的学术发明很少,发表场所并不关键 — srchvrs · 2026-10-27
- 入学一周即当上 ARR 审稿 Area Chair,学者吐槽评审乱象 — anmarasovic · 2026-10-27
- EMNLP 主题演讲:产业界其实在读论文,只是不署你的名 — srchvrs · 2026-10-27
- AISI:80 美元算力微调即可绕过开放生物模型的数据过滤 — connoraxiotes · 2026-10-27