Ofir Press 谈做 benchmark 之难：好标准要难、可验证、有人关心
maxbittker · x · 2026-10-20
maxbittker 分享的一页幻灯片源自与 benchmark 研究者 Ofir Press 的交流：Press 说自己工作中最难的部分，是造出既有吸引力、又清晰易懂、还值得业界关注的基准。幻灯片列出好 benchmark 的标准——难（Hard）、可验证（Verifiable）、便宜（Cheap）、令人向往（Desirable）、对其他人有趣（Interesting to other people）。Press 本人在回复中补充：Cheap 这条如今基本已放弃，因为很多好点子最终都很贵，其余几条他完全认同。
所属事件:Ofir Press 谈好 benchmark 三大标准，「便宜」已放弃(2 条相关)→
「研究」频道最新
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23