研究者指出:完全隐藏测试集的基准反而难获采用,因无法针对性优化
srchvrs · x · 2026-11-09
针对「公开测试数据的基准必然被过拟合」的观点,作者补充了一个反直觉现象:测试数据完全隐藏(不只是隐藏标签)的基准往往难以获得社区采用。原因之一是这类基准更难被针对性优化,作者自嘲这说法有点犬儒,但确实是重要因素。
讨论脉络:
- 原帖指出公开测试集必然被过拟合,常见做法包括按测试分数选 checkpoint,最恶劣的是把测试数据当训练数据,中间还有改写测试数据等创意手法。
- 作者强调「隐藏」指测试数据完全不可见,而非仅不公开标签。
「研究」频道最新
- 开发者发起多语言重写 LLVM 为数据导向设计的实验 — lucasmeijer · 2026-11-09
- 拍摄 3000 人走路训练步态基础模型，预测 1887 项健康指标登上 Nature Medicine — segal_eran · 2026-11-09
- Neurospectrum 开源：几何拓扑深度学习解析神经数据潜在轨迹 — Pseudomanifold · 2026-11-09
- p53 复活剂 Rezatapopt 与 PI3Kα 抑制剂联用可延缓肿瘤生长 — adam_thiesen · 2026-11-09
- Neurospectrum 发现 OCD 患者脑轨迹曲率变化显著高于健康人 — Pseudomanifold · 2026-11-09
- Neurospectrum 在 27 名 OCD 患者 fMRI 分类上超越全部基线 — Pseudomanifold · 2026-11-09