CMU 提出 Visual Token Routing,VLM Agent 视觉 token 减少 5.8 倍精度不变
wellecks · x · 2026-11-05
CMU 的 Pranjal Aggarwal 与 Sean Welleck 发布 Visual Token Routing（VTR），让 VLM 计算机操作 agent 大幅降低视觉 token 开销。
- 动机：VLM agent 每张截图生成数千视觉 token，且每步操作后都新增一屏，上下文膨胀极快。
- 做法：训练一个约 23.3M 参数（约语言模型 1% 大小）的三层 MLP 路由器，读取最近几帧对应位置 token 输出保留概率，仅保留模型真正需要的视觉 token；每第 10 张截图完整保留以保证全局视野。在 Qwen3.5-2B 上仅训练 2000 步。
- 效果：OSWorld 上用 2.5 倍更少 token（每图 2040→808）达到全分辨率同等精度，CUA-World 2.9 倍，视频游戏 5.8 倍；推理成本降至 1.8–3.3 倍低，每步 prefill 时间缩短 2.2–2.9 倍。
- 代码与路由器权重已开源。
所属事件:CMU 提出 Visual Token Routing,VLM Agent 视觉开销降 5.8 倍(2 条相关)→
「编程与Agent」频道最新
- Levels 用 Claude Code 反编译《战地1942》移植成页游，联机也通了 — huangyun_122 · 2026-11-05
- AI 正式成为 Kubernetes 一级工作负载：AI Conformance 升级为永久子项目 — TerryTangYuan · 2026-11-05
- 开源文档编辑器 quiet.md:Rust+GPUI 实现，兼容飞书文档 — dotey · 2026-11-05
- 用 agent 自动清理科研 Excel 数据,解决 Phase 2 失败源头 — nlarusstone · 2026-11-05
- Polylane 长文:Code mode 本质是决定工具结果进上下文还是进变量 — ritakozlov · 2026-11-05
- Agent Arena 长程任务实测:五大前沿模型用时差距达 55 分钟 — arena · 2026-11-05