AA-Omniscience 基准:42 主题 6000 道事实题,最强模型也有约 1/4 答错
randal_olson · x · 2026-09-30
Randall Olson 公布 Artificial Analysis 的 AA-Omniscience 数据:涵盖 42 个工作领域的 6000 道具体事实题,模型在不开启搜索的情况下作答,统计错误答案占已回答题目的比例(拒绝作答不计入)。
结论:即便是最好的模型,无搜索状态下也有约四分之一的答案出错——重要事实必须让模型查证。
配套开源了 evident-charts:一个教 AI 编码代理(Claude Code、Codex、Cursor 等)画清晰诚实图表的 agent skill,会先检查数据问题(合计混入分项、重复行、占位代码、初值月份等),并在图表展示前自动批评和重建不合格图表,如修正 log 轴上的原始计数、把混进排名的 EU 总计剔除、去掉无意义的彩虹配色。
所属事件:数据显示顶级AI模型不搜索时事实题答错率约四分之一(2 条相关)→
「模型」频道最新
- Devin 中现 stealth 模型 silicon-2,疑似 Anthropic 新模型 — kimmonismus · 2026-11-16
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- Nathan Lambert 点破 Ethan Mollick 榜单对比漏掉了 Kimi — natolambert · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 自托管实测:Unsloth Q8 量化版大幅优于默认 Q3,连夜跑完 331 份账单分析 — No_Cartographer3953 · 2026-11-16