多模态推理越想越「忘图」,Remember-R1 用三道过程级奖励把视觉注意力拽回(MathVista +13.6)

Remember-R1: Mitigating Long-Context Visual Forgetting through Reinforcement Learning

Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

cs.CV

2026-08-02

多模态推理链越长越淡忘图像。本文在原始推理轨迹上叠三个过程级奖励(覆盖视觉关键词、维持后期注意力、聚焦题目相关区域),不改推理流程,3B/7B 上 MathVista 涨 13.6/7.5。

这篇在解决什么

多模态大模型做复杂题目时越来越依赖长链思维,先一步步推理再给答案。链条一长,问题就来了:模型对图像的注意力随生成步推进不断衰减,后面的 token 更多被前面已经写出来的文字推着走,图像证据被淡忘。这就是本文要处理的「视觉遗忘」(visual forgetting)。一个会数几何体个数的模型,推理到后半段可能凭空脑补出一个并不存在的蓝色球,再据此把答案数错。

此前两类做法都有短板。一类在推理过程中把图像或特征重新喂回上下文(visual re-introduction),能找回视觉证据,但反复处理图像会推高推理算力和显存,还打断推理连贯性。另一类在训练时插入「视觉声明」代理交互(visual claim proxy),但监督落在了这些额外插入的代理上,并没有直接约束模型本来的那条推理链。

Remember-R1 走第三条路:不改推理流程,把过程级监督直接压到模型自己生成的那条轨迹上。

方法

框架用 GRPO 做强化学习,关键在奖励设计。除常规的答案正确奖励 racc,另加三个过程级奖励,分别盯住视觉证据的三个维度。

训练数据在 ViRL39K 上扩注:用 Qwen-VL-Max 给每张图抽一组「视觉关键词」(物体类别、颜色、数量、空间短语,例如「左侧最高的柱子」),再给题目相关的证据区域标 bounding box。答案只在标注阶段用,绝不喂给策略模型。人工核验后得到 38,657 条带标注样本。

三个奖励各有分工:

视觉词汇奖励 rvoc:鼓励推理过程显式提到这些视觉关键词。匹配按小写精确短语,不做同义扩展;每个关键词按它在回答里最后一次出现的位置加权,越靠后给分越高,逼模型在推理深处仍回头引用视觉事实,而非开头提一下就丢开。
视觉记忆奖励 rmem:拿最后一层注意力权重,算生成开头窗口与结尾窗口对图像 token 的平均注意力 μstart、μend,奖励定义为 1 + (μend − μstart)。结尾注意力不掉甚至回升就得高分,专门对抗后期视觉注意力滑坡。
视觉关键区域奖励 rregion:把标注的 box 映射到对应视觉 token,算每一步落在这些区域上的注意力占比,再按 (t/T) 时间加权求平均。后半段聚焦在题目相关区域给更高分,防止注意力虽然没掉却飘到无关角落。

总奖励是四项相加。三个维度的互补性作者也给了 benchmark 级佐证:正确回答比错误回答平均多匹配视觉关键词(20.76 对 12.50)、后期注意力衰减更小、对关键区域的注意力更稳。

结果

在 Qwen2.5-VL-3B 和 7B 上,跑七个 benchmark:推理向(MathVision、MathVista、LogicVista)、综合多模态(MMVet、MMMB、MMStar)、感知(RealWorldQA)。

benchmark	基线 3B	本文 3B	基线 7B	本文 7B
MathVision	20.90	24.68	23.20	26.64
MathVista	51.90	65.50	62.30	69.80
LogicVista	40.49	42.95	47.26	49.05
MMVet	52.98	63.44	59.44	72.37
MMStar	54.73	59.54	63.93	64.73
RealWorldQA	65.22	65.88	69.28	69.67

相对各自的 Qwen2.5-VL 基线,3B 在 MathVista 涨 13.6、7B 涨 7.5,是涨幅最猛的一项。7B 版在 MMVet 拿到 72.37,超过专门做视觉遗忘缓解的 DeepSketcher-7B(69.54)和 TVC-7B(60.41)。

消融上去掉任何一个奖励都掉点,且去掉 rvoc 后模型倾向产出更抽象、文字主导的推理。只用答案正确奖励的 GRPO 在 MathVista 只到 60.20,明显不如完整版的 65.50,说明光靠最终答案监督压不住过程。注意力曲线分析显示,Remember-R1 在推理中后段对图像的注意力衰减明显更慢。

为什么重要

对做视觉推理的从业者有两点实际价值。一是不动推理:训练完就是普通模型部署,没有重喂图像的额外算力税,落地简单。二是它把「视觉遗忘」从一个观察现象变成了可优化的训练信号,用注意力权重当代理直接写进奖励函数,思路干净,可以复用到其他需要持续对齐外部证据的长链任务(文档、图表、视频)。

要清醒的是,相对那些同样主打视觉遗忘缓解的 7B 对手,Remember-R1 的领先幅度不大(MathVista 69.80 对 69.10),更像稳态改进而非压倒性突破。

局限与存疑

论文没有单设局限章节,下面几处是隐含问题加读下来的疑问:

整套监督建立在注意力权重之上。作者自己承认 Ω(t)「并不能完全刻画模型行为」,注意力高不等于真的用了对的视觉证据,留有被 reward hacking 的空间(模型可能学会把注意力糊在视觉 token 上,却不真依赖它)。
视觉关键词靠 Qwen-VL-Max 离线标注加人工核验,38,657 条的规模和质量强依赖这条 pipeline。匹配用精确短语、不做同义扩展,措辞稍变就匹配不上,比较脆。
benchmark 偏推理与综合评测,缺真实长文档、长视频这类更可能触发视觉遗忘的硬场景。RealWorldQA 涨幅也接近持平,感知能力是否真受益存疑。
只在 Qwen2.5-VL 一个基座上验证,跨到 Qwen3-VL、InternVL 能否复现没给数据。

术语

视觉遗忘 (visual forgetting):长链推理中模型对图像 token 的注意力随生成步推进而衰减、转而依赖已生成文本的现象。
过程级监督 (process-level reward):奖励不只看最终答案,而是在推理过程的中间步骤按规则打分。
GRPO:Group Relative Policy Optimization,对一个 prompt 采一组回答、用组内归一化优势更新策略的强化学习算法。
racc:答案正确性奖励,强化学习里最常见的那一类,只看最终对错。
视觉关键词 (visual keywords):从图里抽出的短词(物体类别、颜色、数量、空间短语),用来监督推理有没有提到可见证据。

原文与代码

社区讨论

Remember-R1：解决多模态模型长链推理中的「视觉遗忘」新智元