抗污染基准 LiveBench:动态更新题目+客观自动评分
QuixiAI · x · 2026-10-28
QuixiAI 分享了 arXiv 论文 LiveBench(2406.19314,作者含 Yann LeCun、Tom Goldstein 等),针对 LLM 评测中测试集污染这一顽疾。
- 核心设计:首个同时做到三点的基准——题目来自最新信息源(数学竞赛、arXiv 论文、新闻、数据集)并频繁更新;按客观 ground truth 自动评分,避免 LLM 评委与人工众包的偏见;覆盖高难度任务。
- 任务范围:数学、编码、推理、语言、指令遵循、数据分析,并包含 Big-Bench Hard、AMPS、IFEval 等旧基准的更难、抗污染版本。
- 动机:测试集泄入训练数据会让基准迅速失效,而众包新题和 LLM 评判又引入偏差且难以给难题打分,LiveBench 试图同时解决这两个问题。
「研究」频道最新
- HelixCove 发布:把一个组织里真实工作过程做成数据集 — niloofar_mire · 2026-10-29
- BioBench 入驻 Fireworks 智能指数:1337 项任务测生物体安全 — kenbwork · 2026-10-29
- 网友在 Talkie 1930 里找到「制毒配方神经元」，单神经元激活玩出新花样 — Bedrovelsen · 2026-10-29
- ImagiRep 论文:空间推理靠 RGB 想象不够,922 题基准揭示表征选择关键 — _akhaliq · 2026-10-29
- OpenAI 论文宣称推翻指数时间假说，给出 3-SAT 亚指数算法 — burny_tech · 2026-10-29
- Fireworks 推出实践者评测索引，31 家机构新增贡献领域基准 — sophiamyang · 2026-10-29