让视频模型更听话的新方法
Cohere · youtube · 2026-07-18
这场分享讲的是如何让视频生成模型更好地遵循用户意图，重点是用**最小化调整**提升对控制框的服从度。 ### 核心方法 - 针对已有的文本到视频扩散模型，不是重新训练整套模型，而是对用户提供的控制框做优化 - 让控制框与模型内部注意力机制对齐 - 通过平滑遮罩（smooth masking）让优化过程更稳定 ### 结果 - 在 **AnimalKingdom** 数据集上，相比现有基线取得更好的控制效果 - 说明：只做少量调整，也能明显改善视频生成对空间约束的遵循 ### 讲者背景 Daniel Ajisafe 是英属哥伦比亚大学计算机科学博士生，研究方向是可控生成模型与用户意图对齐；他还获得过 RBC Borealis AI Fellowship，并曾因相关工作获得最佳论文奖。