DeepMind 实习成果:把价值图放进 VLM 思维链,多模态潜在推理提效 20%
burny_tech · x · 2026-09-15
作者分享在 Google DeepMind 实习期间的工作 Scaffolding Minds,探索多模态潜在推理。
- 核心思路:将价值图(value maps)作为潜在视觉 token 直接嵌入 VLM 的思维链,让模型「用价值函数思考」而不仅是看图
- 难点在于现成的视觉特征并不天然适合作为「思维素材」,因此进一步学习潜在表示本身
- 学习后的表示相比冻结编码器带来平均约 20% 的相对准确率提升
- 结论:模型「看到什么」和「该用什么来思考」可能是很不同的表示
「多模态」频道最新
- Reddit 用户吐槽 MiniMax 视频输出塑料感，20GB 模型占满硬盘 — DelboyTrigger · 2026-11-02
- 剪纸拼贴风提示词走红：民间故事质感出图模板分享 — azed_ai · 2026-11-02
- RTX 5090 实测三大视频超分方案冲 4K：SeedVR2 对比 MiniMax 与 FlashVSR — CeFurkan · 2026-11-02
- 网友发问:一人用 Kling 和 CapCut 能否讲出同样故事 — tetsuoai · 2026-11-02
- Midjourney sref 双码组合实测：中世纪版画风格的猫骑士 — sergeantsref · 2026-11-02
- AI 生成毛绒质感角色设计：狐耳少女、外星虫人与猫咪摄影师 — OVolosin82152 · 2026-11-02