研究揭示 VLM 生成前会在图像上打指针规划答案
gsarti_ · x · 2026-11-20
Northeastern 大学 Bau 实验室(Rohit Gandikota 等)发布新研究,打开 VLM 内部探究它如何决定先描述什么、后描述什么、何时停止。
核心发现:
- VLM 在生成 token 之前就已「规划」:它先在图像中定位答案位置,并持有一个指向该位置的指针(pointer);
- 指针被传递到答案将被写出的 token 位置,由一组专门的注意力头沿指针回溯图像取回内容;
- 同样的指针机制还用于追踪已说过的内容:每写一个答案都与图中来源位置绑定,写下一个答案前回看这些位置,跳到最近未描述之处;
- 规划不是内部词表,而是「图像上的一组指针」,类似白板笔记,每步重新读取;
- 代码 LLM 和图像扩散 Transformer 也存在类似规划行为。
团队提供了交互式 demo 与开源代码可在线查看规划过程。
「研究」频道最新
- NeurIPS 2026 将办 UserSim workshop,聚焦用户模拟可信度 — alexisjross · 2026-11-20
- 用 Astra 6.2 十分钟修复 e-means 两个反例,高中生连破六猜想 — amuellerml · 2026-11-20
- seq2fun 假设细胞状态固定,转录组虚拟细胞模型忽视 DNA 调控 — anshulkundaje · 2026-11-20
- 经济学人发文:AI 会动摇还是加固经济学文献的可靠性 — TuhinChakr · 2026-11-20
- 经济学家重访集装箱化冲击下的码头工人工会应对 — Afinetheorem · 2026-11-20
- 跨机构全明星团队发布 AI for Science 领域及时综述 — anshulkundaje · 2026-11-20