斯坦福学者批评自动可解释性评测:只查不召回,易生「事后故事」
ChrisGPotts · x · 2026-10-19
Chris Potts 就其论文展开讨论,指出自动可解释性(auto-interp)领域长期忽视精确率与召回率的双重考量,过度依赖启发式抽查,给「Just-so 故事」留下空间。其团队对 Bills et al. (2023) 的 auto-interp 工作做了扩展式评测,主张基于干预(intervention-based)的事前评测方法,认为这类评测往往能揭示出人意料的问题。他还提到论文合作者 Leo 的新 LessWrong 文章显示其对这一评估结论有所认同,并在后续推文中补充了第 5 点的展开说明。
所属事件:斯坦福学者谈自动可解释性评测缺陷与模型越强越易解释(2 条相关)→
「模型」频道最新
- Ingot 上线 4 天:社区量化 Qwen3.8-27B 超官方 FP8 版 — const_reborn · 2026-10-19
- Cohere 宣布旗下新模型架构全部兼容 llama.cpp — nick_frosst · 2026-10-19
- Liquid AI 谈端侧 LFM 预训练:参数更少,靠架构与数据补质量 — JosephJacks_ · 2026-10-19
- 曝 The Information 称本月发 Fable 5.5、Gemini 4 Carbon 与 GPT-6.1 Terra — Angaisb_ · 2026-10-19
- 模型饱和度数据并不可靠:harness 与部署方式都在污染结论 — matt_slotnick · 2026-10-19
- Claude 帮用户修好硬盘,却拒找他自己的加密钱包助记词 — MoonL88537 · 2026-10-19