LMArena 开源两套 Web 应用偏好数据集,提出交互式评测新范式
arena · x · 2026-11-13
LMArena 宣布开源两个数据集并发布论文《Interaction-as-a-Judge》：
- ArenaWebdevPreferences：6,390 对 Web 应用,带人类偏好标注
- ArenaWebdevCorrectness：189 个游戏版本,362 条经人工验证的需求标签
核心思路是让计算机操作代理（CUA）直接与应用交互来当裁判,弥补传统代码分析和单元测试漏掉用户一用就发现的失败。论文显示该方法将偏好预测准确率从 65.6% 提升到 69.1%,需求验证从 77.0% 提升到 81.6%,推理时 5 次尝试内可修复 75.5% 的破损需求。
训练侧：用纯交互奖励微调 Qwen-3.5-9B,胜率较基座提升 6.7pp（约 +50 Arena 分）,相比纯代码奖励,应用成功率从 81.3% 升至 88.5%,代码膨胀减少 35.7%。团队含 Ion Stoica、Cho-Jui Hsieh 等人。
所属事件:LMArena 提出交互即评判新范式并开源 Web 应用偏好数据集(2 条相关)→
「编程与Agent」频道最新
- 开发者观点:Antigravity 想抢 Claude Code 用户,跑分优势远远不够 — Justin_Halford_ · 2026-11-13
- AI Lab 争做会议软件：语音上下文才是智能体的关键燃料 — signulll · 2026-11-13
- ComfyUI-FileExplorer 开源：像资源管理器一样加载多文件 — wiserdking · 2026-11-13
- Didit 上线 MCP Server：AI Agent 用自然语言完成 KYC 与反欺诈 — bosmeny · 2026-11-13
- 作者开源家乡生成项目：丢给编程 Agent 即可重建任意城市 — zsakib_ · 2026-11-13
- Minecraft 智能体评测 mcbench-lite 开源,本地跑自己的 API key — adonis_singh · 2026-11-13