BenchHub 汇聚 54 个基准 839K 题目,细粒度审计 LLM 评测
tongshuangwu · x · 2026-11-23
CMU、NYU、KAIST 等机构研究者在 NeurIPS 2026 发表 BenchHub 框架,针对现有数百个 LLM 基准重复、零散、难以复用的问题。
- 汇集 MMLU、GPQA、MATH、ARC 等 54 个基准、10 种语言、共 839K 道题目,统一格式后用分类器在实例级标注「学科/技能/文化敏感度」等维度。
- 由此可揭示隐藏的基准间重复组合、跨数据集复用题目,并做类别级别的细粒度模型表现分析。
- 支持按具体应用需求构建定制化评测集,实现可控、可解释的评测。
论文:Benchmarks Are Not Atomic: Composition-Aware LLM Evaluation using BenchHub
「研究」频道最新
- OpenAI 万智能体 88 小时解纳维-斯托克斯,Anthropic 称证出黎曼猜想 — haider1 · 2026-11-23
- 用 fill-in-the-middle 训练模型补全闭源模型被省略的推理链 — OwariDa · 2026-11-23
- NeurIPS 论文拆解「柏拉图表示假说」:余弦相似度掩盖了建模选择差异 — loremstasum · 2026-11-23
- 黎曼证明疑云:Lean社区认证通过,又被扒出几何谓词恒为True — rickasaurus · 2026-11-23
- Rust 视觉定位库 visloc-rs 突破 200 GitHub Star — rsasaki0109 · 2026-11-23
- Rust 视觉定位库 visloc-rs 突破 200 GitHub Star — rsasaki0109 · 2026-11-23