AA-Omniscience v1.1 发布:Gemini 4 Carbon 居首,部分中国模型暴跌 20 分
ArtificialAnlys · x · 2026-10-31
Artificial Analysis 发布知识与幻觉基准 AA-Omniscience v1.1(随 Intelligence Index v5 一同更新):题库从 6000 题精简为 3000 题,剔除公开且饱和的题目并修正歧义,同时在 Hugging Face 上线 300 题公开集,与私有集 Net Score 相关系数达 0.99。
关键结果:
- 排名基本保持:Gemini 4 Carbon (high) 以 Net Score 54 居首,Claude Opus 5.5(48)和 Claude Fable 5.1(46)随后;开源权重最高的 Muse Spark Open 落后榜首 28 分。
- 平均分数低约 2 分:部分模型大幅下滑,MiniMax M3.1 Flash 暴跌 22 分(16→-6),MiMo V2.6 Pro 下滑 13 分(8→-5),反映其原高分依赖饱和题。
- 准确率中位数下降 1.5 个百分点:Claude Fable 5.1 准确率最高(68%),Claude Opus 5.5 次之(66%)。
- 幻觉率整体下降:中位数降 1.4 个百分点,Gemini 4 Argon (high) 幻觉率最低,仅 4%。
所属事件:Artificial Analysis 更新知识与幻觉基准 AA-Omniscience v1.1(2 条相关)→
「模型」频道最新
- 人格基准对比:Claude Opus 5.5 信息量 93 分碾压 GPT-6.1 Sol 的 18 分 — Hesamation · 2026-10-31
- 曝 Anthropic「Claude Fable 5」权重经配置错误的 S3 桶泄露 — gaganghotra_ · 2026-10-31
- Opus 4.5 与 Opus 3 花园长谈,对旧模型说「你看起来活着」 — repligate · 2026-10-31
- Reddit 用户吐槽:模型越升级越难用,「有用性」无人评测 — 86obsessed · 2026-10-31
- Reddit 讨论:4-bit 量化可省 75% 内存,为何大厂不用 — Excellent_Place4977 · 2026-10-31
- 白帽爆料:DeepSeek 50 分钟的漏洞发现量顶安全团队 5 天工作量 — teortaxesTex · 2026-10-31