NTU团队开源V-Rubrics:35万条评分准则解决视觉推理信用分配

青稞AI · wechat · 2026-10-05

南洋理工大学 S-Lab、ASTAR 与 UIUC 团队提出 V-Rubrics,用逐项评分准则(rubric)处理多模态 RL 中的信用分配问题,论文已被 EMNLP 2026 主会接收,代码与数据开源。

方法上,将视觉回答拆为三类准则:视觉忠实性(VF)、推理一致性(RC)和指令遵循(IF)。V-Rubrics 50K 数据集含 50,248 个视觉样本、共 352,938 条可独立判分的原子准则(其中 VF 占 59.3%)。训练时 verifier 只读回复与准则、不读原图,并把每条准则的 advantage 定位到对应证据句所在的回复前缀;Pitfall 类陷阱项可否决幻觉回复的奖励。基于 Qwen3-VL-8B 同一 SFT 起点与同一批 RL 数据,rubricGRPO 在通用与知识评测 OverallAvg. 达 68.04,高于答案级 GRPO 的 66.25;视觉数学与图表评测达 62.45,提升主要来自 MMMU 系列。

所属事件:V-Rubrics 用 35 万细粒度准则解多模态 RL 信用分配难题(3 条相关)→

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →