Eval Weekly 精选 2026 十大评测论文:覆盖 verifier 与 agent-as-a-judge
omarsar0 · x · 2026-11-16
AI 研究者 omar sar 发布其评选的 2026 年度十大评测(eval)论文列表。他指出现在每周都有新模型或 agent 在公开基准上刷出更高分,工程师靠这些数字选型、上线功能和决定方向,但评测本身的质量被忽视。
榜单覆盖评测的多个维度:耐久性、质量、鲁棒性、效率等,并纳入多个新兴方向:
- verifier(验证器)与 agent-as-a-judge
- LLM-as-a-judge 相关议题
- 对自我改进(self-improvement)的审计
原文为长文,适合关注模型评测与 agent 评估的读者系统阅读。
「研究」频道最新
- microVLA:4GB 显存的 RTX 3050 上跑通 pi0.5 VLA 训练与推理 — this_is_surabhi · 2026-11-16
- WebArena-Pro 发布:300 任务 20 应用多模态 Web Agent 基准 — xhluca · 2026-11-16
- 密歇根大学发起 CrowdBark 项目,用 AI 众包研究狗狗交流 — radamihalcea · 2026-11-16
- 高专机器人大赛冠军团队开源控制方案:非线性优化轨迹平均误差仅±1.2cm — 4310sy · 2026-11-16
- 用青蛙卡车图片训练的扩散模型重建成像 M87* 黑洞,环依然出现 — bravo_abad · 2026-11-16
- Science Prediction Universe 基准发布:AI 能否提前预测湿实验结果 — liangchen5518 · 2026-11-16