复现不出已发表论文数字怎么办？Reddit 热议基线复现困境
InsectActive95 · reddit · 2026-11-03
一位 ML 研究者发帖求助：自己论文的 baseline 是一篇已发表方法，用作者公开代码和论文列出的超参数重跑后，多数 benchmark 结果在噪声范围内对得上，但有两个 benchmark 明显低了几个点，跨 3 个种子、4 次重复、间隔数月结果一致。他计划在论文中同时报告「原发表数字」和「自己的复现数字」并明确标注，但担心审稿人更信任已发表数字，反而认为他跑错了基线。
讨论要点：
- 什么才算有说服力的复现：不改作者代码、用其原始超参数、在其他 benchmark 上结果对齐作为 sanity check、多种子。
- 是否该先联系原作者或开 GitHub issue，并在论文中提及。
- 措辞上如何避免读起来像攻击对方论文，同时不让自己的结果显得弱。
- 审稿人是否接受主表里放「发表 vs 复现」两行，还是只能放附录。
「研究」频道最新
- 补刀分析:Astra 权重手术只对有死循环缺陷的 Qwen 有效,救不了 Gemma 270m — teortaxesTex · 2026-11-03
- 基因基础模型 EMBER:上下文基因表示可预测多基因扰动效应 — jmuiuc · 2026-11-03
- AI 改 AI:仅改 0.016% 权重,Qwen3.5-0.8B 数学成绩从 7.9% 升至 48.1% — teortaxesTex · 2026-11-03
- 新预印本 RLCE:用比较样本做强化学习,让 AI 无标签学会社交智能 — pliang279 · 2026-11-03
- Tau Ceti 项目用 AI+Lean 形式化「全部基础数学」，人人可投算力参与 — AlexKontorovich · 2026-11-03
- 新研究：AI 陪伴或降低孤独感并提升自尊 — serialchilla91 · 2026-11-03