RAPO:用反思锚点抑制长链多模态推理中的视觉信息衰减
Xuan Gong · hf · 2026-11-17
长链思维(CoT)推理会提升大型视觉语言模型的能力,但生成过程中视觉信息容易衰减,限制长程多模态推理。
论文从信息论角度分析干预时机,推导出单步干预的下游视觉增益下界,指出两个因素:局部分支空间(token 熵)和下游视觉传播潜力(相对视觉边缘化参考的后缀散度)。据此提出反思锚点策略优化(RAPO):基于 GRPO,选择高熵反思锚点,并优化链掩码有限窗口 KL 代理目标以强化下游视觉依赖。在推理密集型和通用基准上,RAPO 在多个 LVLM 骨干上显著超越强基线;机制分析表明反思锚点富集于视觉敏感决策点,且 RAPO 提升了生成轨迹上的对比视觉依赖信号。
「多模态」频道最新
- 单镜头未来摩托追逐视频 Prompt 分享,灾难之城背景 — umesh_ai · 2026-11-17
- 实测 TapNow CreativeOS2.0:连对话框都藏起来,纯靠口嗨当导演 — 葬AI · 2026-11-17
- 同一角色设计出 2D 插画与 3D 渲染双版本,AI 风格迁移效果惊艳 — azed_ai · 2026-11-17
- RTX 4090 实测再扩容:FLUX.2 4B 首个 GenEval 成绩出炉 — hamshrew · 2026-11-17
- 用 Claude+Suno 做 AI 音乐视频:3 天 435 段视频素材的真实成本 — MuffDivers2_ · 2026-11-17
- Claude Fable 5.2 绘画作品流出:废弃泳池系列插画风惊艳 — repligate · 2026-11-17