港大讲座:ViT 捷径补丁伪影溯源,Edit-R1 用 RL 优化图像编辑奖励

YiMaTweets · x · 2026-11-19

香港大学 Yizhou Yu 教授在 HKU IDS 研讨会分享两项研究:

ViT 伪影分析:预训练 ViT 各监督范式下普遍存在伪影,根源是「懒惰聚合」行为——模型借助语义无关的背景补丁作为全局语义的捷径。解决方案是将补丁特征选择性聚合到 CLS token,在 12 个基准上显著提升性能。

Edit-R1 框架:现有图像编辑奖励模型只给整体评分、缺乏细粒度检查,导致奖励偏差。Edit-R1 构建基于思维链验证器的推理奖励模型(RRM),并提出 Group Contrastive Preference Optimization(GCPO)强化学习算法,利用人类成对偏好数据训练。实验显示 Edit-RRM 作为编辑专用奖励模型超越强大的 VLM,且从 3B 到 7B 呈缩放趋势。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →