Arena 提出 Interaction-as-a-Judge：让 computer-use agent 亲玩应用来当评测裁判
arena · x · 2026-11-13
Arena 介绍其研究「Interaction-as-a-Judge」：一种新的评测范式，让 computer-use agent 直接与游戏和应用交互来改进评测。CMU 博士候选人、Arena 研究实习生 Wayne Chi 在讲解视频中说明其机制。
- 机制：computer-use agent 在应用中导航，产出交互轨迹（interaction traces），交由 LLM judge 或训练好的 reward model 进行评估。
- 实验发现该范式能提升：与用户偏好的对齐、模型发现游戏错误的能力、以及下游生成质量。
- 下游收益体现在推理时扩展（inference-time scaling）与仅靠交互的强化学习（interaction-only RL）能力的提升。
- 该方法与 computer-use 能力正反馈：模型和方法越强，评测效果越好；背景是 agent 在复刻游戏和应用上能力日益增强，部分原因是它们越来越能直接操作应用。
所属事件:Arena 提出 Interaction-as-a-Judge，让 Agent 亲自试应用来评测(3 条相关)→
「研究」频道最新
- JoMoHa 同时 RL 训练模型与 Harness，ALFWorld 成功率达 97% — omarsar0 · 2026-11-13
- LATENTLENS 无需训练解码视觉 token 在语言模型中的真实含义 — burkov · 2026-11-13
- YC F26 团队开源单会话跑一万智能体的运行时 — KlausCodes · 2026-11-13
- 开源扩散起草器 DynaDFlash:投机解码接受长度提升 5% — charles_irl · 2026-11-13
- 滑铁卢四学者合著《降维与流形学习》教材，已被引用 392 次 — FrnkNlsn · 2026-11-13
- Minecraft 智能体评测 mcbench-lite 开源,本地跑自己的 API key — adonis_singh · 2026-11-13