可解释性研究的实证软肋：缺乏基线对比与显著性检验
burny_tech · x · 2026-07-21
作者指出了当前机制可解释性（mechanistic interpretability）论文中普遍存在的一个严重问题：实验结果的可比性极差。
许多论文在展示成果时存在明显的挑选樱桃（cherry-picking）现象，倾向于只展示成功的案例，而隐藏失败或其他分布情况。此外，这类论文往往缺乏严谨的实证基础，具体表现为：
- 未设置合理的基线（baselines）与零假设（null hypotheses）
- 缺乏必要的消融实验（ablations）
- 未进行统计显著性检验
- 未与其他同类方法进行横向对比
作者呼吁，该领域需要更加全面、严谨的实验披露，以呈现方法真实的有效性与局限性。
「研究」频道最新
- DONIC 双手机器人追踪成功率 86.79%，远超此前 SOTA 的 9.43% — liuziwei7 · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27
- 研究者吐槽:论文里 PSNR 低于 15dB 基本是用错了指标 — kwangmoo_yi · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27
- Scaling 拟合之争:Uncheatable 计入输出头 FLOPs,Paloma 剔除,最小档差距高达 65% — dlwh · 2026-10-27
- Marin 作者详解 scaling law 公式：难点在小模型阶段估渐近线 — dlwh · 2026-10-27