Hallo4D：抑制3D/4D生成幻觉
Hongbo Wang · hf · 2026-07-16
作者提出 **Hallo4D**，一个用于缓解 3D/4D 生成中“空间/时间幻觉”的统一、模型无关框架。 论文指出，现有 3D 生成方法常依赖 2D diffusion 监督，但缺少显式几何一致性机制，容易出现重复结构、错位几何；到了 4D 生成，还会进一步出现抖动、身份闪烁、结构漂移等问题。为此，Hallo4D 采用 **generation-detection-correction** 流程：先用大语言多模态模型识别并总结多视角/多帧中的不一致，再通过基于图像空间的“一致性优化”来修正。 方法细节还包括： - 基于多模型投票的 LMM 选择器，用来评估候选修正方案 - 无需重新训练或改架构 - 引入 motion-aware keyframe sampling、LMM-guided initialization、appearance alignment - 额外加入 exposure-aware optimization 和 visibility pruning 实验结果显示，它在多种 3D/4D 生成场景里都优于强基线。
「多模态」频道最新
- Neill Blomkamp 用一张科幻图示意 AI 电影长相 — adariostrange · 2026-07-21
- Happy Oyster 在 Reactor 上线实时世界模型并开放 API — Shruti_0810 · 2026-07-21
- LTX-2.3 演示移人并重建背景 — fruesome · 2026-07-21
- 一个立体胶片风提示词示例 — michaelrabone · 2026-07-21
- AI 动画讲述猫为王绝食的故事 — InevitableDay2485 · 2026-07-21
- 手机电脑上的无声语音接口 — Scobleizer · 2026-07-21