HDR：面向多步视觉推理的新扩散框架
Zezhong Qian · hf · 2026-07-18
HDR 提出一种用于多步视觉推理的分层去噪框架，把视频 latent 组织成树状层级，在生成过程中先粗后细地进行推理。 ### 主要思路 - 粗层去噪保留不确定假设，用于全局规划。 - 细层逐步把这些假设收敛成具体视觉状态。 - 另外加入稀疏层级注意力，降低时间维度的注意力开销。 ### 评测结果 - 作者构建了一个分层、多步的视频推理基准，覆盖迷宫、汉诺塔、单线绘图、滑块拼图、Sokoban 和倒水等六类任务，并包含分布外样本。 - 相比 streaming autoregressive diffusion 基线，HDR 的成功率从 34.22 提升到 60.29，平均进度从 76.00 提升到 89.56。 - 推理延迟保持在每个 latent 0.70 秒，速度比双向扩散快 54.2 倍。 - 只用 2% 训练数据时，HDR 仍能保留 82.9% 的全数据性能，而双向扩散只有 52.0%。 ### 额外结果 - 在真实机器人实验中，HDR 也展示了对物理交互和世界建模的潜力。