中大团队调研 119 篇论文:benchmark 压缩可用部分评测估算全部排名
SunYatsen · hf · 2026-10-15
中山大学团队发布首篇系统性综述,整理 benchmark 压缩(benchmark compression)研究:通过部分评测估算完整榜单的分数与排名,降低 LLM 评测成本。
- 自 2024 年以来该方向论文快速增长,此前无系统性综述;本文回顾 119 篇论文。
- 提出分类法:单一 benchmark 内压缩、跨 benchmark 套件压缩、自适应评测,以及冗余性与可靠性研究。
- 方法通过选取代表性子集、复用更廉价信息、自适应抽题降低成本,但存在覆盖不足、估计不准、串行延迟等风险。
- 给出实用指南,帮助研究者选择、验证和部署这类方法。
「研究」频道最新
- 浙大阿里 PixText 修复生成图文字:字形通过率 83% 远超基线 — ATH-MaaS · 2026-10-15
- TextVerifier 抓 AI 生成汉字错笔画:F1 0.844 远超 OCR 与 VLM — ATH-MaaS · 2026-10-15
- 阿里 HICO-Bench:36% 高评分对话经不起可行性验证 — Tongyi-ConvAI · 2026-10-15
- 字节 Diff Diffusion 用扩散模型预测代码编辑:推理快 2.78 倍 — Xiaolong Xu · 2026-10-15
- MimicX 用策略执行反馈修正人形训练:跟踪误差降 25.7% — Shuaijun Liu · 2026-10-15
- MagicBeanStalk 论文：88% RLVR 数据陷入零优势陷阱，递归合成提分 8.6 — Lianhuiq · 2026-10-15