Ai2 发布 BenchMIRT，审计 LLM 基准是否测非所测

Allen AI 发布基于项目反应理论（IRT）的 BenchMIRT 方法，用于审计 LLM 基准测试中单个问题实际测量的能力。研究发现，旨在测试社会偏见的 BBQ 基准实际上更多在考推理而非偏见或安全。该工具及相关论文已开源，可估计模型在未回答问题上的表现，帮助研究者构建更小、更聚焦且易于解释的评估方法。

2026-09-02 ~ 2026-09-02 · 4 条相关

• Ai2 发布 BenchMIRT 审计 LLM 基准，揭露 BBQ 实测推理而非偏见 — allen_ai · 2026-09-02
• AllenAI 开源 BenchMIRT：解构 LLM 基准评估 — allen_ai · 2026-09-02
• AllenAI：LLM 基准常测非所测 — allen_ai · 2026-09-02

另有 1 条近重复转述:allen_ai