苹果联合杜克推出 LensVLM:把长上下文渲染成图像再「放大」精读

jiqizhixin · x · 2026-10-21

Apple Foundation Models 团队与杜克大学提出 LensVLM(NeurIPS 2026),用「图像浏览+按需放大」的方式解决长上下文压缩难题:agent 任务中上下文不断膨胀,摘要会丢失后续需要的细节,纯图像压缩又会因字符过小导致模型读不出答案。LensVLM 先把整篇文档渲染为一张压缩总览图,再通过多轮 EXPAND 工具选择性地以未压缩分辨率「放大」与问题相关的页面,原始细节可随时取回。训练采用三阶段管线:从基座模型筛出难例、生成合成的工具调用轨迹做 SFT,再用 RL 强化答案与工具调用正确性。在七个文本问答基准上验证有效。