固定随机种子≠可靠:换个 split 误差从 0.10 飘到 0.15 eV
bravo_abad · x · 2026-11-05
科学 ML 研究者 Jorge Bravo Abad 指出一个常见误区:固定 randomstate=42 得到可复现的 MAE 0.12 eV,只证明了「可重复性」(repeatability),而非「稳健性」(robustness)。
配图实验显示,同一模型换 5 个种子和数据划分后,带隙预测误差在 0.10–0.15 eV 之间波动(±0.02 eV)。这意味着许多论文中 0.01 eV 量级的模型对比差异完全落在随机波动范围内,并不构成算法更优的证据。
作者的建议是:报告多次运行的分布(均值±标准差),而不是只报最佳单次结果。
「研究」频道最新
- 斯坦福基准：前沿模型当队友仅 14% 冲突达成最优解 — rohanpaul_ai · 2026-11-05
- 统计学大牛合著 RL 理论新书：非渐近视角系统讲强化学习 — burny_tech · 2026-11-05
- 复现 MIT 权重空间编程：GPT-6.1 超 PPO 基线 21 倍，开源模型全部落败 — burny_tech · 2026-11-05
- 中国 AI 科学家 203 小时自主完成 11382 步实验 — yogthos · 2026-11-05
- 分析 Nature 全部评审报告：8% 纯 AI 生成，第三轮升至 16% — TuhinChakr · 2026-11-05
- 清华等发布 HandsOn 基准：多任务灵巧操作最佳策略仅 29.1% 成功率 — jiqizhixin · 2026-11-05