英国 AISI 联手 EvalEval 推出 Eval Cards 开放评测
英国 AI 安全研究所（UK AISI）与 Evaluating Evals（EvalEval）团队合作，宣布将其公开报告过的评测方法与发现以 Eval Cards 形式开放，并采用 EEE Schema 标准化描述评测的实验配置，推动 AI 评测的可复现性与可验证性。这一动向值得关注，因为它意味着官方机构开始带头公开评测的全量配置与数据，可能改变业界解读"模型跑分"的方式。
已确认
- AISI 宣布以 Eval Cards 公开其已报告的评测方法与发现；据 @benburtenshaw 引述 Hugging Face 文章，AISI 开始使用 EvalEval 联盟的基础设施，以开放方式分享评测结果。
- 作为首个案例，inference scaling 论文《How Inference Compute Shapes Frontier LLM Evaluation》的原始数据、对话记录、上下文等全部资料已上传至对应 Eval Card（@evijit、@IanArawjo 转发均指向此消息）。
- 项目作者 @evijit 表示，平台已收录约 67.5 万个经过验证的评测数据点，AISI 研究者已贡献经其验证的评测结果。
- 核心动机：评测成绩若不报告产生它的实验配置（如推理算力设置），就难以解读和比较。
- 配套论文结论：固定推理预算的评测会低估前沿模型能力，放开推理算力后成绩大幅提升。
为什么重要
随着 AI 部署加速，评测已成为模型与系统性能和安全性的关键证据来源。AISI 作为官方机构带头公开评测全量配置与数据，有助于建立可复现、可验证的评测科学标准；同时其论文表明同一模型在不同推理算力预算下成绩差异显著，横向比较模型跑分需谨慎。
2026-09-23 ~ 2026-09-23 · 5 条相关
一手来源
- AISI 推出 Eval Cards:公开模型评测的方法、数据与完整记录 — evijit ·
- UK AISI 论文：固定预算评测低估前沿模型，放开推理算力成绩大增 — evijit ·
- 英国 AISI 携手 EvalEval 推出 Evaluation Cards 开放评测结果 — ben_burtenshaw ·
- 英国 AISI 携手评估机构,把官方 AI 评估结果搬上 Eval Cards — IanArawjo · 2026-09-23
- 【源头】AISI 推出 Eval Cards:公开模型评测的方法、数据与完整记录 — evijit · 2026-09-23
- 【源头】UK AISI 论文：固定预算评测低估前沿模型，放开推理算力成绩大增 — evijit · 2026-09-23
- AISI 研究者推动评测报告标准化，平台已收录 67.5 万评测数据点 — evijit · 2026-09-23
- 【源头】英国 AISI 携手 EvalEval 推出 Evaluation Cards 开放评测结果 — ben_burtenshaw · 2026-09-23