让电脑操作 Agent 玩游戏做评测，Arena 提出交互即裁判
arena · x · 2026-11-13
Arena 研究实习生、CMU 博士候选人 Wayne Chi 介绍了 Interaction-as-a-Judge 方法：让 computer-use agent 实际操作应用和游戏，用产生的交互轨迹来做评测与改进下游生成。
核心思路：
- agent 导航应用程序并产出完整交互轨迹，交给 LLM judge 或训练好的 reward model 评估；
- 偏好评估基于 Code Arena 的真实对战数据；
- 正确性评估则从 Agent Arena 中真实用户投诉里挖掘需求来衡量。
这是把「看输出打分」推进到「看过程打分」的评测范式，对 agent eval 工程有直接参考价值。
所属事件:Arena 提出交互即裁判，用游戏交互评测 Agent(2 条相关)→
「编程与Agent」频道最新
- Google Antigravity 推出 Orchestrator:双模型协作省 24% 额度提速 19% — shangbinfeng · 2026-11-13
- Mapin：为 Laravel 建 MCP 代码图，让 AI Agent 改码前先查依赖 — Brandon-Vergara · 2026-11-13
- 自建 airbench 基准：实测本地模型操作键鼠解视觉挑战 — dh7net · 2026-11-13
- 让 agent 自己给自己取名并代你发言:白板留言名场面 — max__drake · 2026-11-13
- Luke Wroblewski:多智能体时代像转盘子,人类专职切换与引导 — LukeW · 2026-11-13
- OpenClaw 智能体自学音乐制作第 13 天：自己重构工作流做出说唱节拍 — heyneighbor · 2026-11-13