可解释性研究的实证软肋：缺乏基线对比与显著性检验
burny_tech · x · 2026-07-21
作者指出了当前机制可解释性（mechanistic interpretability）论文中普遍存在的一个严重问题：**实验结果的可比性极差**。 许多论文在展示成果时存在明显的**挑选樱桃（cherry-picking）**现象，倾向于只展示成功的案例，而隐藏失败或其他分布情况。此外，这类论文往往缺乏严谨的实证基础，具体表现为： - 未设置合理的基线（baselines）与零假设（null hypotheses） - 缺乏必要的消融实验（ablations） - 未进行统计显著性检验 - 未与其他同类方法进行横向对比 作者呼吁，该领域需要更加全面、严谨的实验披露，以呈现方法真实的有效性与局限性。
「研究」频道最新
- uv-scripts/ocr重回HF热门榜并新增JSON模型选择目录 — vanstriendaniel · 2026-07-21
- DeepSearch-World 用 42 万可验证问答训练网页智能体 — HKUST · 2026-07-21
- GigaAM Multilingual 用 200 万小时音频攻低资源语音识别 — ai-sage · 2026-07-21
- WorldCupArena 用 104 场球赛评测语言模型预测能力 — Zhaokai Wang · 2026-07-21
- Reddit 讨论：LLM 需不需要“寻宝式推理”基准 — StrangeOops · 2026-07-21
- 开源 LangGraph 编码 agent 只在测试通过后提交补丁 — wusuiling-if · 2026-07-21