NeurIPS 论文发布可合成生成的概念瓶颈模型基准,揭示新失败模式
berkustun · x · 2026-11-20
Berk Ustun 等研究者在 NeurIPS 2026 评估与数据集赛道发布论文《Measuring What Matters》,为概念瓶颈模型(CBM)构建了合成基准。由于真实世界含概念标注的数据集极少,CBM 一直难以训练和评估;该基准可按需生成带标注的数据集,并控制数据模态、概念选择、标注质量等影响性能的属性。论文演示了基准在决策支持与自动化两大用例中的评估能力,能发现新失败模式并归因于架构还是数据。代码开源,pip install concept-benchmark 即可使用。
「研究」频道最新
- DeepSeek 大招游戏设计师,或验证游戏训练提升推理的传闻 — teortaxesTex · 2026-11-20
- ICLR 2027 大批量 desk reject:审稿人未提交 AI 使用声明表 — algo_diver · 2026-11-20
- Chorus 论文:共享 n-gram 嵌入表缩小 87%,性能反超 DeepSeek Engram — brown2green · 2026-11-20
- Inhabitant:LLM 智能体零训练完成 74/75 长程家居交互任务 — Yao Zhang · 2026-11-20
- EPFL 团队发布统一 3D 生成模型,一次完成药物设计对接 — HannesStaerk · 2026-11-20
- ICLR27 分数分布:4 万篇投稿中均分 3.0 仅排前 14% — May_F1_ · 2026-11-20