Arena推出AutoEval：基于奖励模型实现模型首日极速评测
arena · x · 2026-07-31
Arena 官方宣布在排行榜中引入 AutoEval 评分系统，以解决真实人类投票收集耗时过长的问题。AutoEval 旨在为新发布的模型提供“首日（Day-1）”评测信号，并在积累足够人类投票后进行更新验证。
工作原理：Arena 团队利用其大规模的人类偏好数据集（包含数百万次实时投票的两两对比）训练了一个奖励模型（RM）。该模型能自动对单个提示-回复对进行打分，从而模拟人类判断并自动投票。
核心优势：
- 极速反馈：基于 RM 的投票可在不到一小时内生成排名。
- 高灵活性：可通过定制提示针对特定领域进行评测。
- 多模态支持：AutoEval 横跨文本、视觉、图像生成和编码等多个领域，在人类投票无法快速扩展的环节提供自动化补充。
所属事件:LMSYS推出AutoEval：基于奖励模型实现分钟级评测(5 条相关)→
「模型」频道最新
- Microsoft AI 公开 2.8T 模型训法:小模型阶梯实验预测大模型 — hboelman · 2026-10-16
- Reflection AI 开源 501B MoE 模型 Beam,主打编码与长程智能体 — arena · 2026-10-16
- 2024 年 Golden Gate Claude 视频再流行:可解释性 premise 至今仍成立 — HarperSCarroll · 2026-10-16
- Hugging Face 直播发布全新开源权重模型 — huggingface · 2026-10-16
- 阶跃 Step 5 Preview 上线一周冲上 OpenRouter 周榜第二，用量 19.5T tokens — StepFun_ai · 2026-10-16
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16