Hugging Face 推出 Hub 原生评测结果系统,基准可自建排行榜
NielsRogge · x · 2026-11-04
NielsRogge 介绍 Hugging Face Hub 的新功能(work in progress):去中心化的模型评测结果追踪系统。- 基准数据集仓库可标记为 Benchmark(如 MMLU-Pro、HLE、GPQA),自动聚合全 Hub 模型仓库的评测结果并生成排行榜。- 模型评测分数以 YAML 文件存在模型仓库的 .evalresults/ 文件夹,会同时出现在模型页和基准排行榜,可通过 PR 提交并标记为社区提供。- NielsRogge 邀请 OmniParseBench(OCR 基准)作者将该基准接入为 Hub 原生基准,基准所有者可决定展示哪些模型。
「研究」频道最新
- Evo2 基因组模型用上下文学习从头设计抗体与 CRISPR 系统 — KevinKaichuang · 2026-11-04
- Evo2 基因组模型用上下文学习从零设计多种功能蛋白 — KevinKaichuang · 2026-11-04
- Google 用混合编码流程分析 16000+ 篇 NLP 论文的局限性陈述 — vinodkpg · 2026-11-04
- Cell 论文仿照希尔伯特问题提出细胞生物学 15 大 AI 挑战 — StephenQuake · 2026-11-04
- Cell 论文效仿希尔伯特提出 15 大细胞生物学 AI 挑战 — StephenQuake · 2026-11-04
- EnterpriseShift 作者指出现有 agent 基准缺岗位定义与运行时权限 — Shahules786 · 2026-11-04