LMSYS 推出 AutoEval:基于真实偏好秒级评测大模型
vista8 · x · 2026-07-31
LMSYS 官方宣布推出 AutoEval，这是一种全新的模型评估方法。该方法利用基于数百万真实 Arena 用户偏好数据训练的奖励模型，来对各类大模型进行排名。
核心亮点：
- 提供经过真实偏好数据校准的高质量评估信号。
- 评估结果与实时人类评估高度一致。
- 评估速度提升数个数量级（从数天缩短至数小时）。
- 全面支持文本、视觉、图像和代码竞技场。
官方表示，AutoEval 将大大加快新发布模型的评估速度，并会直接在排行榜上展示新模型的 AutoEval 预估分数。
所属事件:LMSYS推出AutoEval：基于奖励模型实现分钟级评测(5 条相关)→
「模型」频道最新
- 网友观察到模型自生成「理想回答」用于训练其他模型 — liminal_bardo · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- JevBench 榜单更新:d1-ultra 以 76.1 综合分登顶,32 个 API 系统参评 — airesearch12 · 2026-10-16
- LMArena 上线 Agent 与代码双排行榜，可对比各模型智能体实力 — arena · 2026-10-16
- NVIDIA Nemotron-3.5 实测遇冷:Bolt 74B 在 pandas/numpy 与决策类测试不及 nano 版 — norenEnmotalen · 2026-10-16
- Reflection 开源 501B 模型 Beam,Apache 2.0 携 40+ 伙伴生态发布 — bhutanisanyam1 · 2026-10-16