随机遮点不是反应机理的好测试:Digital Discovery 论文揭示 ML 验证陷阱
bravo_abad · x · 2026-11-18
- 化学机器学习里常用「隐藏数据点再预测」来检验模型是否学到反应机理,但作者指出这是个弱测试。
- 关键在于隐藏哪些点:反应曲线是平滑的,随机隐藏的点位于两个可见邻居之间,任何不含化学信息的简单曲线拟合都能正确预测它——通过测试并不说明模型理解了机理。
- Jakob Dahl 与 Klavs Jensen 在 Digital Discovery 的 perspective 文章中,用自己此前的钯催化反应数据以单一实例演示了这一点:两条参数数量相同的竞争机理路线,在随机留出测试下都可能拟合良好。
- 正确做法是有针对性地设计留出测试,使不同机理给出可区分的预测,而非随机遮点。
「研究」频道最新
- AIR-O 发布:仅凭非侵入式脑扫描实时解码注意力并生成图像 — jonxuxu · 2026-11-18
- Goodfire 发布 Neuron Communities 研究:少数神经元协作即可完成算术等行为 — fatihdin4en · 2026-11-18
- JAMA研究对比AI出院小结与医生书写:潜在伤害评级不相上下 — EricTopol · 2026-11-18
- 研究:LoRA 可让模型精准「装菜」,低分不再等于低能力 — rohanpaul_ai · 2026-11-18
- 实证研究发现:最新 Claude 模型曾大规模直接训练蛋白质序列 — LeoTZ03 · 2026-11-18
- 审稿人疲惫:AI 让一切皆可实现,论文里看不到真正的「挣扎」了 — rishabh16_ · 2026-11-18