Arena 推出 AutoEval:基于奖励模型实现分钟级评测
arena · x · 2026-07-31
Arena 官方博客宣布在排行榜中引入 AutoEval 机制,以解决真实人类投票收集耗时过长的问题。
- 工作原理:通过在 Arena 海量人类偏好数据上训练奖励模型(RM),由 RM 自动生成代理投票。结合真实人类投票后,能在不到一小时内给出模型排名。
- 多模态支持:该机制不仅限于文本,还扩展至视觉、图像生成和代码领域。例如,其文生图奖励模型基于超 300 万对偏好数据训练,在公开基准 MMRB2 上取得 SOTA 表现。
- 动态更新:AutoEval 分数会在新模型发布首日提供早期信号,待积累足够人类真实投票后再进行验证和更新。
所属事件:LMSYS推出AutoEval：基于奖励模型实现分钟级评测(5 条相关)→
「模型」频道最新
- Meta 开源 Muse Spark 权重，扎克伯格只能在 X 上感谢苹果 — AIFlow_ML · 2026-10-16
- Reddit 用户实测称 ChatGPT Pro 三档套餐用量上限几乎相同 — These-Breadfruit4067 · 2026-10-16
- 用户投诉 Gemini 记忆删不掉,关掉重开依然全记得 — ThrowRA_Purpose2025 · 2026-10-16
- 曝 OpenAI 暗测内部神秘模型 Aeon：已现身 Codex 桌面版用量面板 — cedric_chee · 2026-10-16
- 博主实测：argon 日常全面能打，但重度编码仍略逊 Claude — iruletheworldmo · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16