Technion 论文:ViT 的 patch 热力图可解释性只是训练副产品，非模型固有属性
ziv_ravid · x · 2026-10-20
Technion 研究者 Schaffer、Manor 与 Michaeli 的论文《The Explainability Illusion》系统检验了 ViT 的 patch-token 可解释性（如 Logit Lens 式解码 patch token 看注意力热图这一常用诊断手段）。
核心发现
- patch-token 可解释性并非 ViT 的固有属性，而是训练条件的脆弱副产品；
- 热图究竟高亮物体、背景还是什么都不是，取决于训练数据，有时甚至取决于随机种子；
- 跨架构、规模与训练目标的实验显示：部分模型呈现对齐且可解释的 token 解码，另一些则出现反转的可解释性图或与图像语义完全无关联；
- 理论部分证明：同一个固定玩具 transformer 架构可以以多种方式实现最优分类，而各方式的 patch-decoding 可解释性模式截然不同。
作者结论：不能先验假设 token-decoding 可解释性成立——大量所谓"可解释性"可能是在解读茶叶渣。转发者 zivravid 感慨：可解释性研究远远落后于性能研究，需要更多这类批判性论文。
「研究」频道最新
- Mirror 视频规划器现涌现行为：熔岩湖逃逸率从46%升至76% — vincesitzmann · 2026-10-20
- Mirror 让 Minecraft 角色无奖励打铁镐:视频模型当规划器的新范式 — vincesitzmann · 2026-10-20
- 单卡一小时训练降尺度模型，把法国气温预报从 28km 提到 5.5km — yb2698 · 2026-10-20
- 新论文提出进度感知蒸馏，缓解小模型智能体推理停滞 — Yuanpu Cao · 2026-10-20
- HERA：让 Agent 框架与环境共同进化，学会何时弃答 — UW · 2026-10-20
- HouseholdBench:LLM 预测家庭经济行为,最佳模型降误差 12.2% 仍不敌 GBDT — daveholtz · 2026-10-20