八个系统同分 52.67%,评测榜单该怎么呈现胶着的成绩
_sRhubarb_ · reddit · 2026-10-21
作者以 Agent Memory Leaderboard 8 月公开榜单为例讨论评测结果极接近时如何呈现:Cycle 1 编码板 43 个系统在 150 个任务上的解决率集中在 46.00%–52.67%,八个系统同分 52.67%;由于单题值 0.67 个百分点,头部集群每次只移动一题。作者认为这种趋同本身有信息量——不同设计在编码任务上落在同一水平区间,因此表格形式很关键。他列举了三种做法:百分比旁附原始题数、用分层分组代替严格排名、跨任务给出区间估计,并询问读者在论文或内部评测中哪种呈现真正有效。
「研究」频道最新
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23