BenchMIRT 审计 LLM 评测：BBQ 题目其实在考推理而非安全
allen_ai · x · 2026-09-02
Allen AI（Ai2）团队发布 BenchMIRT，一个用心理测量学启发的多维 IRT（项目反应理论）模型来审计 LLM 安全与能力评测的工具，可检查评测题目究竟在测试模型的哪种能力。
核心发现之一：在社会偏见评测 BBQ 上，BenchMIRT 发现题目更多是按推理能力而非安全性区分模型——提示「安全-能力权衡」可能部分是评测基准本身造成的假象。
所属事件:Ai2 发布 BenchMIRT，审计 LLM 基准是否测非所测(4 条相关)→
「研究」频道最新
- Google 开源 Harness²：不动模型权重，agent 最高提升 11.5 分 — lmoroney · 2026-10-19
- 1.9MB LoRA 修复 MOSS-Image SFT 垂直色条纹:非训练而是权重提取 — Nynxz · 2026-10-19
- a AND b AND c 有三种执行方式，选错差 12ms：DataFusion 过滤器优化解析 — Abhishekcur · 2026-10-19
- UCSD 的 ACT3D:让 VLM 主动探索 3D 世界,平均准确率 53.2% — UCSanDiego · 2026-10-19
- 上海科技大学提出 OPMD:蒸馏中间计算而非仅监督输出 — ShanghaiTech · 2026-10-19
- LexFrame:用模型自身语义解读残差流,实现归因与早退 — Jian Gu · 2026-10-19