RAPO:用反思锚点抑制长链多模态推理中的视觉信息衰减

Xuan Gong · hf · 2026-11-17

长链思维(CoT)推理会提升大型视觉语言模型的能力,但生成过程中视觉信息容易衰减,限制长程多模态推理。

论文从信息论角度分析干预时机,推导出单步干预的下游视觉增益下界,指出两个因素:局部分支空间(token 熵)和下游视觉传播潜力(相对视觉边缘化参考的后缀散度)。据此提出反思锚点策略优化(RAPO):基于 GRPO,选择高熵反思锚点,并优化链掩码有限窗口 KL 代理目标以强化下游视觉依赖。在推理密集型和通用基准上,RAPO 在多个 LVLM 骨干上显著超越强基线;机制分析表明反思锚点富集于视觉敏感决策点,且 RAPO 提升了生成轨迹上的对比视觉依赖信号。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →