Artificial Analysis 发布 AA-Omniscience v1.1:公开集与私有集分数相关性达 0.99
ArtificialAnlys · x · 2026-10-31
评测机构 Artificial Analysis 更新其幻觉/知识评测 AA-Omniscience 至 v1.1,并在 Hugging Face 上公开一个与私有集难度校准一致的新公开测试集。
发布时公开集与私有集的 Net Score 相关性达 0.99,中位差异 0.0 分;准确率与幻觉率同样保持 0.99 相关,中位差异分别为 -0.07 和 -0.29 个百分点。这意味着外部研究者可以用公开集近似复现官方榜单结果,提升评测透明度。
所属事件:Artificial Analysis 更新知识与幻觉基准 AA-Omniscience v1.1(2 条相关)→
「研究」频道最新
- ICLR 论文：只微调部分层的「外科手术式微调」更抗分布偏移 — alexbilz · 2026-10-31
- 前 OpenAI 研究员泼冷水：生物神经元训练视频模型是被夸大宣传 — willdepue · 2026-10-31
- Cherimoya 基因组模型计数性能升至 0.78,VEP 误差近半 — jmschreiber91 · 2026-10-31
- Krueger:研究超人类 AI 应转向分析 PB 级日志而非机制可解释性 — DavidSKrueger · 2026-10-31
- Relation Therapeutics 发布 PEP-seq:用先导编辑为 DNA 基础模型造训练数据 — anshulkundaje · 2026-10-31
- 活体神经元训练出「绿色模型」，视频生成成本降至 Wan 2.2 的约 1/8 — PeterDiamandis · 2026-10-31