NTU mmlab 发布 ThinkDrag:用视觉推理理解拖拽编辑语义
mmlab-ntu · hf · 2026-10-12
NTU mmlab 等机构发布 ThinkDrag,一个带视觉推理能力的拖拽式图像编辑多模态框架。
- 现有拖拽编辑方法多把拖拽指令当作几何位移,难以处理需要理解图像内容的语义化编辑
- ThinkDrag 将点约束关联到物体/场景级语义变换,并可生成显式推理轨迹来解释编辑意图,提升模糊拖拽的可解释性
- 引入 Drag Endpoint Markers,基于跨图注意力分析提供显式对应信号
- 构建了配推理轨迹的监督数据集,并发布 DragBench++ 基准
- 实验显示生成质量与合理性达 SOTA,同时保持有竞争力的点位跟随精度
「多模态」频道最新
- 开发者用 AI 为肯德基制作广告片:「吮指美味」成片展示 — aitrendz_xyz · 2026-10-12
- 街头涂鸦拼贴风提示词分享:撕裂海报质感一键出图 — LudovicCreator · 2026-10-12
- 杨丽萍孔雀舞背景 MV 用 Seedance 实时生成,字节 AI 已悄然登台演艺圈 — vista8 · 2026-10-12
- 杨丽萍《孔雀舞》现场用Seedance实时生成孔雀伴舞 — vista8 · 2026-10-12
- 字节未发布世界模型曝光:《喜剧之王》授权,画轨迹即可生成电影预演 — vista8 · 2026-10-12
- 胡彦斌用字节 TRAE 开发舞台装置:舞者触碰光束即奏宫商角徵羽 — vista8 · 2026-10-12