交互即裁判：纯交互奖励微调 Qwen-3.5-9B 胜率提升 6.7pp
arena · x · 2026-11-13
Arena 团队公布「Interaction-as-a-Judge」RL 训练结果：无需访问代码，仅用交互过程作奖励即可微调模型。
- 用纯交互奖励微调 Qwen-3.5-9B，相对基座模型胜率提升 +6.7pp（约 +50 Arena 分）
- 对比仅用代码奖励：成功构建的应用比例从 81.3% 提升至 88.5%
- 生成代码膨胀减少 35.7%（图中代码 RM 后期平均代码字符数明显反弹，交互 RM 保持低位）
结论：交互本身可以作为不依赖代码执行的 RL 信号，且在应用成功率和代码简洁度上优于代码奖励。
所属事件:LMArena 提出交互即评判新范式并开源 Web 应用偏好数据集(2 条相关)→
「模型」频道最新
- Gemini 4 Hydrogen 空降 3D 生成榜第 4,谷歌三模型进前四 — DynamicWebPaige · 2026-11-13
- 前 OpenAI 研究员：DeepSeek、Kimi 等中国模型全用 Nvidia 芯片训练 — FateOfMuffins · 2026-11-13
- 重度用户质疑 OpenAI 节奏落后：Anthropic 已连发新模型 — Angaisb_ · 2026-11-13
- 自建 airbench 基准：实测本地模型操作键鼠解视觉挑战 — dh7net · 2026-11-13
- vLLM 优化 Rubin:DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍 — vllm_project · 2026-11-13
- vLLM 优化 Rubin:DeepSeek-V4.1-Flash 吞吐达 GB300 的 58 倍 — vllm_project · 2026-11-13