TDDN 融合 DINOv3 与 CleanDIFT，密集预测精度超 CLIP 三倍
udmrzn · x · 2026-09-11
arXiv 论文（2609.07937）：现有基于 CLIP-ViT 的 VLM 在换取高层语义时丢失细粒度视觉感知，导致拼图等结构化视觉推理能力不足。作者提出 DiffusedDINO 感知编码器，融合 DINOv3 的全局语义与 CleanDIFT 的细粒度空间特征，并用 RoBERTa-L 对齐得到 TDDN。
主要结果：仅用约 59 万对齐样本、骨干冻结的条件下——
- 图文检索追平 CLIP，四项设置中三项超过；
- 密集预测精度超 CLIP 三倍以上（ADE20K 5.20→18.11 mIoU，COCO-Stuff 7.35→24.44）；
- 在通用对比编码器（含 SigLIP 2）中分割基准领先；
- 新发布 Puzzle Perception 分割+VQA 数据集上，TDDN 分割精度翻倍（11.04→22.51 mIoU）。
「多模态」频道最新
- Techhalla 公开 3D 参考工作流：2D 设计到 Kling 4.0 精细动画全流程 — techhalla · 2026-10-26
- 对话手机即可重建旧金山舰队周数字孪生，浏览器内电影级渲染 — bilawalsidhu · 2026-10-26
- 19 分钟让 Claude Code 学会剪辑师风格，自动产出整条 Reel — PrajwalTomar_ · 2026-10-26
- 「递归眼睛」提示词走红:漩涡中无限套娃的人脸插画 — LudovicCreator · 2026-10-26
- BFL 开源 5.6B 文生图模型 FLUX 3 Klein,比上代小 38% 还涨 91 Elo — dl_weekly · 2026-10-26
- Claude+HyperFrames 几分钟复刻任意短视频风格 — petergyang · 2026-10-26