34 分领先原是假象:作者自曝调好基线后优势缩到 1 分
Connect_Agency_3975 · reddit · 2026-10-21
一位作者发布预印本,坦诚自己记忆电阻器 crossbar 修复控制器的研究曾显示对竞争方法有 34.0 分的领先,但在调优对方学习率、匹配重训练步数后,领先缩水到 4.2 分、1.06 分,八种子预注册复现结果为 -0.005 分(95% CI -1.7+1.7),按预设标准判定为复现失败——至少 97% 的原始领先来自未调优的学习率与不等算力。
实验设置:模拟环境中用备用单元(15%)修复 ResNet-9 on CIFAR-10 的卡死单元,故障分三波各 10%。
仍然成立的结论:
- 等步数下,控制器 D 领先纯重训练基线 3.78 分(5/5 种子),此前虚高为 44.7 分。
- 前向-only BatchNorm 重拟合在备件耗尽后接近随机水平,落后 D 76.06 分。
自述局限:仅仿真无实物测量、学习率在测试集上挑选、序贯加种子、未计额外计算开销等。作者公开征求批评:匹配还有哪些不公平、还应补哪些基线。
「研究」频道最新
- OpenTac 上传 3D 模型 3 秒生成触觉传感器柔性电路,覆盖 93% 面积 — anand_bhattad · 2026-10-23
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23