一周 1900 篇 AI for Science 论文:测试误差小不等于模型对了
bravo_abad · x · 2026-11-20
Discovery at Scale 周报作者 Jorge Bravo Abad 统计一周约 1900 篇 AI for Science 论文(平均每 5 分钟一篇),并提炼出一个跨领域共性模式:模型可以在留出集测试上取得很小的误差,却仍对它本要预测的对象判断错误。
测试误差只回答「模型能否复现训练数据分布的更多样本」,不回答数据是否正确、是否包含关键信息、提升是否真来自论文标题里的想法。六篇论文在太阳能电池材料、电化学、类药物分子、火山灰等迥异领域展示了这种沉默:
- 两个架构与训练结构完全相同的力场,对晶体相变温度的预测相差超过 150 K;
- 一个带电电极模型的测试误差,远大于它本要分辨的能量差;
- 一个生成式 emulator 在某个统计量上还不如自己的训练数据,在另一个上却更好。
关键在于这些发现都不需要新算法,只用实验科学最老的办法:控制变量、只改一件事、观察结果。作者整理出测试误差答不了的五个问题(配图所示):标签对不对、模型看不见什么、测试集是否真的是新样本、增益能否通过「安慰剂对照」、以及「比什么更好」。
「研究」频道最新
- StreamEmbed:端侧实时索引屏幕历史,比截图编码快 3.7 倍 — shangbinfeng · 2026-11-20
- 谷歌Willow登上Science封面:量子 contextuality 以98.3%胜率赢下「不可能」游戏 — sundarpichai · 2026-11-20
- 杜一论等发布能量模型教程:统一视角串起扩散、强化学习与推理 — burny_tech · 2026-11-20
- MiniMind:64M 参数小模型,2 小时、约 3 元成本从零训练 LLM — dr_cintas · 2026-11-20
- Mech interp 的未来:从电路中抽象出可学习的算法 — burny_tech · 2026-11-20
- MBZUAI 发布 PAN 2 世界模型:29B 参数,连训练代码一并开源 — ZhitingHu · 2026-11-20