Do Underwater Image Quality Metrics Agree with Human Perception? A Benchmark with Human Choices, Simple Edits and Generative Drift
Rishii Kumar Singh, Abhinav Rajput, Dinesh Kumar Vishwakarma
cs.CV, eess.IV
2026-11-14
用 5 组人类参照实测 73 个水下图像质量指标:最优者最差一致性 κ 仅 0.23,常用 UCIQE 甚至偏爱人类拒绝的简单编辑。
水下照片没有干净参考,增强方法只能靠 NR-IQA(无参考图像质量评价)指标打分排名,UIQM 和 UCIQE 引用最多。整套流程成立的前提只有一个:指标排序等于人类排序。已有小型研究指出二者与主观感受脱节,但没扭转惯例。这篇把问题一次测透:73 个指标对 5 组人类参照,再加三类压力测试,数据全部打包成公开 benchmark。
人类参照五组:四个已发表主观评分集(UID2021、SAUD、SAUD2.0、SOTA,共 12,360 张图、1,160 个场景),加一个自做的二选一实验:32 张 UIEB 原图各配一种编辑,20 名标注者、1,920 次选择。评分集只收录已发表方法的输出,自做实验补上了「简单滤镜是否被高估」这块空白。
一致性只看场景内配对:同一照片的两个增强版本,指标与人的选择是否一致,汇总成 Cohen's κ。口径对齐增强论文的真实用法,弃用了会奖励「区分不同照片」的全集合秩相关。标注者之间中位 κ 0.41,当参考线。
压力测试三类:
实现层面还有个发现:公开 MATLAB 版 UCIQE 遇含纯黑像素的图直接返回 NaN,评分集 27%–38% 的图受影响。
| 项目 | 数值 | 参照 |
| 73 个指标最好的最差情形 κ | 0.23(Q-Align) | 标注者之间 0.41 |
| UCIQE 在四个评分集 | 三组为负:−0.08 / −0.21 / −0.17 | UID2021 上 0.18 |
| S+S+C 滤镜在 UCIQE 下胜过人类最佳增强 | 60% / 86% / 95% 场景 | 人拒绝该编辑 |
| PGD 10 步(ε=2/255)后原图反超人类最佳 | 150 场景全胜,5 指标全中 | PSNR 仍 ≥43.8 dB |
| Pro replica 链检出漂移的分数 | 22 / 73(严格规则) | 噪声增至 1.4–2.8 倍 |
人机差距最刺眼:饱和度加锐化加 CLAHE 连做 20 次,人类 1% 选票要它,UCIQE 在 100% 照片上选它;强噪声拿 9% 人类选票,UCIQE 同样全选;人类明确拒绝的 7 种编辑,UCIQE 仍有 91% 配对偏向编辑图。生成漂移四条链 UCIQE 全线上涨,四条链都检出漂移的分数只有 5 个,默认 checkpoint 里只有 RALI。
学习型指标换实验室就失效:五个有已知训练集的水下指标在自家数据 κ 0.60–0.92,跨实验室至多 0.31;UIQAVSI 在训练集 SAUD 上 0.92,跨实验室三个参照至多 0.19。没见过水下数据的 Q-Align、VisualQuality-R1、RALI 在 SAUD、SAUD2.0 和二选一实验上反超所有跨实验室的水下专用指标,在 UID2021 和 SOTA 上没有。
对做增强、修复或审这类论文的人,这是拿来就能用的审计。UCIQE 排的名次,四个评分集三组 κ 为负,基本不可信。五条建议都可执行:至少报两组不同实验室参照的场景内一致性并取低值;不要单独用 UCIQE 排名;把原图和 S+S+C 编辑当基线,打不过它们的方法没证明增益;报告指标实现与版本;生成式增强直接测噪声和色偏。TrustUIQA 把人类参照、攻击图、漂移链和全部指标分数开放在 GitHub 和 HuggingFace,新指标可按同一流程评测;漂移测试不限水下,图像编辑模型的自喂评测都能套。性质上是测量工作,新意在覆盖面与测试系统化。
作者列得实:20 名标注者全来自同一所大学、用自己屏幕看图,彼此一致性也只有 0.41;四个 block 各 2、3、9、6 人,部分照片票少。没有人类直接比较过「简单编辑对最佳增强」或「漂移后期对早期」,这两处推断是间接的。漂移测试仅 20 张图、两个编辑器,模型版本更新后结论可能变。攻击只覆盖 5 个通用指标,水下专用指标一个没打。另有两点:κ 绝对值受配对方向约定影响,换约定最好成绩从 0.23 变 0.26,排名未做显著性检验;VisualQuality-R1 平局率约两成,剔除平局对它偏有利。