一周 1900 篇 AI for Science 论文:测试误差小不等于模型对了

bravo_abad · x · 2026-11-20

Discovery at Scale 周报作者 Jorge Bravo Abad 统计一周约 1900 篇 AI for Science 论文(平均每 5 分钟一篇),并提炼出一个跨领域共性模式:模型可以在留出集测试上取得很小的误差,却仍对它本要预测的对象判断错误。

测试误差只回答「模型能否复现训练数据分布的更多样本」,不回答数据是否正确、是否包含关键信息、提升是否真来自论文标题里的想法。六篇论文在太阳能电池材料、电化学、类药物分子、火山灰等迥异领域展示了这种沉默:

关键在于这些发现都不需要新算法,只用实验科学最老的办法:控制变量、只改一件事、观察结果。作者整理出测试误差答不了的五个问题(配图所示):标签对不对、模型看不见什么、测试集是否真的是新样本、增益能否通过「安慰剂对照」、以及「比什么更好」。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →