RGBD20K: A Large-Scale Benchmark for RGB-D Semantic Segmentation
Shaohua Dong, Zexuan Meng, Haiyan Sun, Bing Fan, Cuicui Zhang, Dylan Joseph, Kewei Sha, Yunhe Feng, Heng Fan
cs.CV
2026-09-24
北德州大学把SUN RGB-D、DIML等室内深度数据重标成2万对、160类的RGBD20K，并给出一套SPF融合基线；该集上SPF拿到46.3 mIoU，只比同骨干GeminiFusion高0.9。
室内 RGB-D 语义分割，给彩色图加一张深度图、给每个像素打类别，已经在两个小基准上打转了很久。NYUv2 只有 1449 对、40 类；SUN RGB-D 把图量抬到 10335，类别仍是 37 个。ViT 在这点数据上吃不饱，真实房间里大量细类也覆盖不到。
标注质量同样拖后腿。SUN RGB-D 漏标、错标、同类前后不一致、边界糊掉，都是用过的人知道的问题。Matterport3D 有 19.4 万张 RGB-D，ScanNet 体积也更大，但目标是三维重建或十来个粗结构类，像素级 2D mask 并不精细。北德州大学这组人做的事很具体：把已有室内 RGB-D 源拼起来，按 160 类重新标，做成 RGBD20K。
数据不是新拍的。2 万对来自七个现成来源：SUN RGB-D 10335 张、DIML RGB-D 8365 张（原本给预训练用），再加 RGB-D Mirror、VidSOD、DepthTrack、RGBD1K、ARKitTrack 的子集，后五家加起来约 1300 张。统一到 160 类、75 种室内场景，共 368312 个实例 mask，平均每张 18.4 个。训练 / 测试按 18000 / 2000 分层切，160 类两边都出现，长尾分布刻意留着。
标注走交互式像素级流程，从粗类（家具、电器）落到细类（哪一种桌子、哪一种电子设备）。能标部件就挂到父物体上，抽屉挂柜子。遮挡用深度图分层，墙和地板垫最远，近处物体压上去。论文写每对图都经过多轮人工校对，但没有标注员之间的一致率。
模型叫 score-purified fusion（SPF）。骨架跟 GeminiFusion 一样：四阶段层次编码器、Swin-L-384 骨干、SegFormer 解码头。改动集中在融合。跨模态注意力经常同时干两件事，压传感器噪声、对齐错位的深度边界，还要聚合长程上下文，权重就被不可靠位置摊薄。SPF 的设计口令是「先净化，再做注意力」。
三步可以复述：
训练 300 个 epoch，四张 H100，学习率按 100 epoch 一段从 6×10⁻⁵ 降到 1.5×10⁻⁵。
先看标注脏不脏。只把 SUN RGB-D 测试集重标、训练不动，预训练 DPLNet 的 mIoU 从 52.8 升到 55.0。评价协议本身就被噪声吃掉 2.2 点。训练和测试都换成重标版（仍是 37 类，记作 SUN RGB-D†），DPLNet 到 59.0，比原版高 6.2 点。表里所有方法在 † 上都涨。
RGBD20K 本身难得多。同一批模型在 NYUv2 上还能到 53–60，换到 160 类基准就掉到 22–46。
| 方法 | 参数 | NYUv2 | SUN RGB-D | SUN RGB-D† | RGBD20K |
| PGDENet | 100.7M | 53.7 | 51.0 | 54.6 | 22.4 |
| DPLNet | 88.6M | 59.3 | 52.8 | 59.0 | 28.0 |
| DFormer v2 | 95.5M | 58.4 | 53.3 | 59.7 | 44.1 |
| GeminiFusion | 369.2M | 60.2 | 54.6 | 61.5 | 45.4 |
| SPF | 416.4M | 60.5 | 55.0 | 62.2 | 46.3 |
SPF 四个基准都最高。相对同骨干 GeminiFusion，增益是 +0.3 / +0.4 / +0.7 / +0.9，参数多了 47M。消融里拿掉分数项掉到 45.5（-0.8）；只净化 Key 或只净化 Value，只走 RGB 或只走 Depth，都回不到 46.3。可学习噪声比随机高斯高约 1.0 点。DPLNet 在 NYUv2 上 59.3，在 RGBD20K 上只剩 28.0，原论文的提示微调设定直接搬过来会翻车，这篇没解释原因。
给做室内机器人、具身感知的人，这是目前类别最细的像素级 RGB-D 分割公开集之一。160 类把「桌子」拆开，长尾也留着，更接近真实房间。数据在配套 GitHub 仓库。
方法侧是渐进改进。SPF 在 GeminiFusion 上加了一套可靠度门控，四个基准都小胜，但 0.3–0.9 的 mIoU 和多出来的 47M 参数摆在一起，工程上未必划算。更有用的是那组重标实验：公开基准的测试分数里，有一块是标注噪声，不是模型差距。
160 类上最高也只有 46.3，细粒度室内 RGB-D 分割远没做完。开放词汇和零样本论文提了一句，没有实验。
论文没有单独写局限。几处硬伤直接看得见。
数据是拼装的，不是新采集。一半来自 SUN RGB-D，四成来自 DIML，跟踪和显著性子集加起来不到 1300 张。场景多样性受原数据集采集协议限制，全部室内，没有室外，也没有专门的恶劣光照子集。Matterport3D、ScanNet 更大，论文用「任务不同、标签粗」把自己划出去，口径成立，但「大规模」要放在细粒度 2D 分割这个窄范围里读。
标注质量只给了对比图和下游 mIoU 变化，没有标注员间一致率，也没有抽检错误率。160 类长尾下，稀有类对平均 IoU 的权重很大，论文没报逐类数字，看不出尾部类是真学会了还是被平均掉。
SPF 相对 GeminiFusion 的提升幅度小，参数更多，没有报告延迟和 FLOPs。DPLNet 在 RGBD20K 上崩到 28.0，基线是否都按原设定公平复现，只能半信。测试集只占 10%，分层保证了类都出现，尾部类的测试样本可能极少。