AllenAI 开源 BenchMIRT：解构 LLM 基准评估
allen_ai · x · 2026-09-02
AllenAI 发布了 BenchMIRT 工具及相关论文，旨在让研究者更清晰地看清基准测试真正衡量的是什么，帮助构建更小、更聚焦且易于解释的评估方法。该工具能估计模型在未回答问题上的表现，预测准确率达 79%。
所属事件:Ai2 发布 BenchMIRT，审计 LLM 基准是否测非所测(4 条相关)→
「研究」频道最新
- 作者推测:真实训练中模型可能自发学会感知探针存在 — Sauers_ · 2026-10-18
- 训练策略复盘:只训最后几层避免移动目标,数据越多泛化越好 — Sauers_ · 2026-10-18
- 训练后模型能感知激活探针存在,并跨 GPU 零样本泛化 — Sauers_ · 2026-10-18
- 模型可学会分辨训练与部署状态,并泛化到没见过的运行时 — Sauers_ · 2026-10-18
- 模型从第 34 层激活差异学会识别训练环境,跨运行时泛化 90%+ — Sauers_ · 2026-10-18
- 单个注意力头像开关:靠抵消放大探针的微小激活差异 — Sauers_ · 2026-10-18