HOMIE 用多模态对齐提升人-物视频个性化生成
Yiyang Cai · hf · 2026-07-21
HOMIE 是一个面向“人-物”中心视频个性化生成的多模态框架。
- 论文聚焦 subject-driven video generation。现有方法往往难以同时兼顾主体一致性和正确的人物-物体交互，尤其当物体是 logo 这类抽象概念时更难处理。
- 它还处理 intra-subject 参考输入，例如 OCR map 或多视角图像。作者认为这些输入本应提升主体一致性，但此前方法往往没有把潜在对应关系理解好。
- HOMIE 采用更好的 MLLM 融合策略，在 self-attention 中加入全局多模态引导，把语义特征更好地对齐到 VAE tokens；同时引入 modality-reference embedding，用来区分 MLLM 特征和 VAE tokens，并关联参考图像 token。
- 论文宣称在多个 HOCVP 任务上取得了 SOTA。
所属事件:HOMIE框架基于Qwen3-VL实现人-物视频个性化生成(2 条相关)→
「多模态」频道最新
- 29 美分用 Dreamina Seedance 伪造大坝灾难「幕后花絮」 — Standard_Spell5873 · 2026-10-27
- Reddit 求助：Qwen Image 2.1 换装总毁身材比例，Flux 3 Klein 略好 — Existing-Box-7866 · 2026-10-27
- ComfyUI 打造跨场景一致角色：RealVisXL V5 加 img2img 面部参考 — MiaLarsonJL · 2026-10-27
- 29 美分生成迈克尔·贝式屋顶大片，Seedance 实测效果惊人 — PersonalSpace_4225 · 2026-10-27
- 3 步 Turbo LoRA 实测:Moss 图像模型极速出图效果展示 — JadedScorpion · 2026-10-27
- Magnific 预告 10 月 28 日上线新功能：「We're making it move」 — cuenca · 2026-10-27