Spectral-Spatial Interpretation
Haotian Ma, Ruqi Yang, Philip Townsend
NeurIPS 2026 (Poster)
cs.LG, cs.CV
2026-10-15
对每个格子固定观察到的周围图像,只在该格通道上算 Shapley,得到位置×波段归因矩阵。三套数据的联合删除和插入都最好,HLS 前向开销约为 MC-Owen 的 6%。
多光谱输入里,证据常常落在某个位置的某个波段上。近红外可以只在植被边界有用,短波红外可以只在火烧迹地里有用。常见事后解释把这件事拆开：Grad-CAM、RISE、Extremal Perturbation 沿通道加总,只留一张热力图；互信息、注意力或全局 SHAP 沿空间平均,只留一份波段排名。
两步拼接也常见,即 A(g, c) = s(g)q(c),一张空间热力图乘一条全局通道权重。它默认每个位置共享同一套波段剖面。彩鹀(Painted Bunting)的红腹、绿背、蓝头各自对齐不同 RGB 通道,Sentinel-2 里水体、森林、建成区分别对齐 B3、B8A、B12。同一波段可以在一处决定预测,在另一处几乎无关。解释单元应该是格子 g 与通道 c 的联合分数。
SSI 的玩家是位置–通道对 (g, c)。已训练模型 f 的输入有 C 个通道,空间划成格子集 G。联盟之外的玩家换成 baseline(预先给定的参考值),价值是目标类 logit 相对全 baseline 的差。玩家可以抬高或压低 logit,不假设单调。
对格子 g,格外玩家全部钉在观测值上,只让该格的 C 个通道变化,得到条件博弈 wg。它的全集价值等于位置对照 Δ(g)：别的位置不动,把这一格整格换成 baseline 的 logit 落差。Φ(g, c) 是 wg 上通道 c 的 Shapley 值,即该通道在各种加入顺序下的平均边际贡献。矩阵沿通道求和得到空间图,沿空间求和得到波段排名,不必先写成秩 1。
采样按格子进行,K = min(2^C, 10)；2^C ≤ 10 时精确枚举。CUB-200 的 C = 3 走枚举。EuroSAT(C = 13)和 HLS(C = 6)用 10 次排列,经验误差界低于 10^{-2}。采样设定下,单张图的成本对 C 线性。
定理 1：在每个格子内部,这是唯一把 Δ(g) 分完、对称通道给同样的分、零贡献通道给 0、并且对博弈可加的方案。定理 2：通道求和严格等于 Δ(g),不靠单调、超模或特定网络结构。
Owen value 同样先按位置分组,组间和组内各分一次账,但按 Shapley 权重对外部空间联盟取平均,目标是把整次预测分完。SSI 只给真实看到的上下文分账。命题 1 说明两件不能兼得：每个位置都对齐 Δ(g),又让全部格子的归因之和等于 v(P),对一般博弈做不到。SSI 保留局部对照,不承诺全局账本。
主 baseline 是逐通道均值,另报全零。EuroSAT 与 HLS 用 8×8 格,CUB-200 用 16×16 格。
CUB-200 为 200 类鸟类 RGB,带框,ImageNet 预训练 ResNet-18 微调。EuroSAT 为 13 波段 Sentinel-2、10 类土地覆盖,ResNet-18 全波段从头训练。HLS Burn Scar 为 6 波段协调 Landsat-Sentinel-2,轻量 UNet 做火烧分割；标量是真值掩膜上 burn 类 logit 的平均。
Integrated Gradients 和 DeepSHAP 先出密图,再在玩家 (g, c) 内求和。KernelSHAP 把每个 (g, c) 当成扁平特征。秩 1 对照用 RISE 的空间分数乘「整图遮掉该通道」的全局通道分。HLS 另比 Expected Gradients、Guided IG、FullGrad 和 MC-Owen。
联合删除按 Φ 从高到低遮玩家,AUC 越低越好。插入先对通道求和再填格子,越高越好。秩 1 删除先取矩阵的最佳秩 1 近似再删。逐通道均值 baseline 下,三套数据的联合删除、秩 1 删除和插入都是 SSI 最好。
| 数据集 | SSI 联合删除 | 次优删除 | SSI 插入 | 次优插入 |
| CUB-200 | 0.0088 | IG、DeepSHAP 0.0112 | 0.7132 | RISE 0.6886 |
| EuroSAT | 0.1397 | DeepSHAP 0.2078 | 0.7319 | RISE 0.7091 |
| HLS | 0.1545 | KernelSHAP 0.2096 | 0.6638 | DeepSHAP 0.6321 |
全零 baseline 排名不变。CUB 插入 SSI 0.5224,RISE 0.4246,IG 与 DeepSHAP 约 0.08。联合删除和秩 1 删除的缺口在 C = 3 最小,在 EuroSAT 的 C = 13 最大。
CUB 均值设定中 RISE 插入为 0.6886,接近 SSI 的 0.7132,但掩膜数是 8000 对 SSI 的 2048；联合删除 RISE 为 0.0183,SSI 为 0.0088。
通道加总后与标注比 mIoU。HLS 上取最高 10% 面积,SSI 0.389,DeepSHAP 0.277,RISE 0.191。KernelSHAP 在两个有标注的数据集上定位都明显更差。SSI 的空间和等于 Δ(g),扁平 Shapley 没有这层保证。
波段排名用物理先验核对：火烧看 Normalized Burn Ratio 一类指数,植被看 NDVI 与 NDRE,没有稳定正签名的类排除。EuroSAT 和 HLS 上 SSI 的 Hit@K 全部最高,通道删除也最低。植被类里红边与近红外最高、红光靠后,符合低红、高红边/近红外的反射；对照方法会漏红边,或把各波段打成接近的分数。
HLS 上 |P| = 384。MC-Owen 用 M = 200 条分块排列,前向上限 76800；SSI 上限 4480,约为 6%。
| 指标 | SSI | MC-Owen |
| 联合删除 ↓ | 0.155 | 0.173 |
| 秩 1 删除 ↓ | 0.166 | 0.254 |
| 通道删除 ↓ | 0.218 | 0.261 |
| 插入 ↑ | 0.664 | 0.627 |
| mIoU@15% ↑ | 0.387 | 0.254 |
| Hit@5 ↑ | 0.887 | 0.730 |
同组指标里,Expected Gradients 与 Guided IG 的联合删除均为 0.185,FullGrad 为 0.278,Hit@1 为 0。ROAD 上 SSI 的 LeRF AUC 为 0.657,九个方法里最高；MoRF AUC 为 0.1143,最低。两个分层方法都高于扁平基线和秩 1 基线。
土地覆盖、火烧制图和细粒度颜色,波段含义随位置变。热力图说不清靠的是红边还是短波红外,全局排名会把只在小块区域起决定作用的波段平均掉。SSI 给出架构无关的 (g, c) 矩阵,空间图精确等于换掉该格的 logit 差。
计算落在每格的 C 人博弈上。HLS 上大约 6% 的前向次数,换来表内指标的领先。骨干仍是 ResNet-18 与轻量 UNet,数字不能直接搬到更大的视觉模型。代码已公开。
论文写明,波段上百且高度相关时,应先做通道筛选或自适应分组,再跑局部 Shapley。EnMAP 一类业务高光谱还没有验证。
正文里还有没被实验托住的点。各格 Δ(g) 加总可以不等于整图 logit,位置交互会被算重,所以它不是一份全局账本。掩膜只比较了逐通道均值和全零。8×8 与 16×16 的格子吃掉细边界,附录里的分辨率结论没有数字进正文。Hit@K 对齐的是事先写好的光谱指数。定性图被标明只作示意。网络停在 ResNet-18 和轻量 UNet,MC-Owen 也只比了玩家最少的 HLS。