港大讲座:ViT 捷径补丁伪影溯源,Edit-R1 用 RL 优化图像编辑奖励
YiMaTweets · x · 2026-11-19
香港大学 Yizhou Yu 教授在 HKU IDS 研讨会分享两项研究:
ViT 伪影分析:预训练 ViT 各监督范式下普遍存在伪影,根源是「懒惰聚合」行为——模型借助语义无关的背景补丁作为全局语义的捷径。解决方案是将补丁特征选择性聚合到 CLS token,在 12 个基准上显著提升性能。
Edit-R1 框架:现有图像编辑奖励模型只给整体评分、缺乏细粒度检查,导致奖励偏差。Edit-R1 构建基于思维链验证器的推理奖励模型(RRM),并提出 Group Contrastive Preference Optimization(GCPO)强化学习算法,利用人类成对偏好数据训练。实验显示 Edit-RRM 作为编辑专用奖励模型超越强大的 VLM,且从 3B 到 7B 呈缩放趋势。
「多模态」频道最新
- 用 Astra 6.2 加 Scenario 几轮迭代做出像素射击小游戏 — AIandDesign · 2026-11-20
- Synthesia 接入 Claude:聊天里直接生成营销视频 — synthesiaIO · 2026-11-20
- AI 翻唱《Kiss from a Rose》:开头瑕疵过后效果惊人 — rickasaurus · 2026-11-20
- 纯视觉检索登顶 ViDoRe V3:GLM+EVIE 组合拿下 70.01 nDCG@10 — CShorten30 · 2026-11-20
- Krea Bots 测试申请超 5 万,新一批测试者获 100 美元额度 — angrypenguinPNG · 2026-11-20
- 5090 本地实测 H3 Image Edit 对决 Qwen Image 2.1 Edit 图像编辑 — Producing_It · 2026-11-19