VTR 论文：视觉 token 稀疏路由让 computer-use agent 推理成本降 3.3 倍

wellecks · x · 2026-11-10

Pranjal Aggarwal 与 Sean Welleck 的 arXiv 论文提出 Visual Token Routing（VTR），解决 computer-use agent（CUA）的核心成本瓶颈：每张截图被表示为数千视觉 token，随长任务交互历史不断累积。

核心观察：大多数视觉 token 要么与 agent 下一步动作语义无关，要么在连续截图间时间上冗余。

方法：联合训练 VLM 与一个轻量时空 router，逐区域检查当前与历史截图，决定哪些视觉 token 进入语言模型；用自适应 loss 在尽量压低 token 数的同时最小化性能损失。

结果：仅 2000 步训练，VTR 在 OSWorld、CUA-World 和游戏动作预测上追平全分辨率模型，视觉 token 减少 2.5-5.8 倍，推理成本最多降 3.3 倍，prefill 最快提速 2.9 倍，且优于降分辨率等基线。

原文链接 →

「编程与Agent」频道最新

• CopilotKit 开源 AI 同事平台 OpenBot 1.0：自托管、任意模型、11K 星 — techNmak · 2026-11-10
• NimbusImage 开放 agentic 控制:Claude 可直接分析显微图像 — arjunrajlab · 2026-11-10
• TRL 用 agent 轨迹做 SFT,2B 模型任务成功率 5.5%→34.4% — SergioPaniego · 2026-11-10
• AI 打工人实录：三分之一指挥 agent，三分之一等它跑完 — sahilypatel · 2026-11-10
• Hugging Face 为 transformers 引入 Decision Models:直接输出决策分布而非文本 — tomaarsen · 2026-11-10
• AutoResearchExam 发布：给 AI 研究智能体 24 小时做真实科研任务 — AlexGDimakis · 2026-11-10

更多「编程与Agent」频道 AI 资讯 →