英国 AISI 携手 EvalEval 推出 Evaluation Cards 开放评测结果
ben_burtenshaw · x · 2026-09-23
Hugging Face 文章介绍，英国 AI 安全研究所（AISI）开始使用 EvalEval 联盟的基础设施，以开放方式分享评测结果，推动可复现、可验证的评测科学。
- 背景：随着 AI 部署加速，评测成为模型与系统性能的重要证据来源，但结果散布在不同格式与平台，往往缺乏复现所需信息，重跑评测本身可能代价高昂。
- 方案：EvalEval 通过统一的报告 schema「Every Eval Ever（EEE）」和开放的 Evaluation Cards 平台，把评测结果及解读所需的配置、协议上下文纳入统一结构。
- 双方此前在 NeurIPS 2025 期间的联合研讨会上展开研究合作，AISI 反馈也帮助塑造了 EEE schema；AISI 此前还推出 OptStop（提升评测效率）、HiBayES（统计严谨性）等工作。
- 核心观点：可复现的评测不只是榜单分数——benchmarks 是「语境中的测量」而非事实，Evaluation Cards 记录了什么在什么协议下运行，细节足以复现。
所属事件:英国 AISI 联手 EvalEval 推出 Eval Cards 开放评测(5 条相关)→
「安全」频道最新
- Toby Ord：部署前强制测试意义有限，内部模型才是最大风险源 — ben_j_todd · 2026-11-12
- 观点争锋：AI 失控与权力集中风险主要藏在企业内部部署的模型里 — ben_j_todd · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12
- 审计发现：LLM 医学伦理决策近乎确定，系统性低估患者自主权 — zakkohane · 2026-11-12
- 首测 19 个模型多用户能力：前沿 LLM 普遍难处理冲突指令与权限隔离 — _Hao_Zhu · 2026-11-12