视觉 token 路由 VTR：精度不变，VLM agent 省 5.8 倍视觉 token
wellecks · x · 2026-11-05
Visual Token Routing（VTR）是一种让 VLM agent 更快更省的新方法：联合训练一个轻量路由器，在每一步丢弃时间上冗余、或 agent 无需据此行动的视觉 token，保持准确率不变的同时最多减少 5.8 倍视觉 token。
研究者 Akari Asai 借此讨论了一个更根本的问题：为什么不能只用一个 computer-use agent 搞定所有 agentic 任务？视觉网页导航和 deep research 是否真需要各自独立的 scaffold 和训练管线？
她看好「同一个 agent 盯屏幕决定下一步点击/输入/阅读」的统一路线，但指出现实瓶颈是每步动作后重新评估屏幕的成本——BrowseComp 任务往往超过 50 次搜索，全走浏览器的话开销会滚雪球。VTR 学会跳过每步中可省的视觉 token，意味着同等算力预算下 research agent 能走得更远。
所属事件:CMU 提出 Visual Token Routing,VLM Agent 视觉开销降 5.8 倍(2 条相关)→
「编程与Agent」频道最新
- 实测平价模型 particle-1 跑 agent 日常：多数任务追平 Opus，成本不足 2 美元 — heyneighbor · 2026-11-05
- Aether 用已有 Claude/ChatGPT 订阅跑云端编码 agent,只收机器费不收模型费 — Scobleizer · 2026-11-05
- Claude Code 桌面版新增 /storage：一键查看并清理磁盘占用 — lydiahallie · 2026-11-05
- 工程师吐槽 AI 代码难维护?人类写了 30 年烂代码也没好到哪去 — feregri_no · 2026-11-05
- SpaceX 主程:grok bot 月合并 PR 从 809 暴涨至 10926,代码量增 30 倍 — elonmusk · 2026-11-05
- NeoSigma 发布 NeoEval:把生产数据变成企业 agent 的自动评测环境 — agihouse_org · 2026-11-05