SimpleBench:前沿模型平均分首次越过人类基线
Bojackin_Around · reddit · 2026-09-06
- SimpleBench 专为测试 LLM 长期薄弱、人类却相对擅长的推理设计:常识推理、空间与时间推理、社会判断,以及针对浅层模式匹配和误导性假设的陷阱题。
- 图中模型成绩为 5 次运行的平均准确率;随机猜测得分 16.7%,与两年多前模型的起点非常接近。
- 人类基线来自 9 名英语母语、非专业人士,每人回答随机抽取的 25 题,参与者至少具备高中数学水平,因此基线可能偏高。
- 帖子指出前沿模型平均分已开始越过该人类基线,标志模型在「人类容易、AI 困难」类推理上出现转折。
所属事件:SimpleBench 前沿模型平均分首超人类基线(2 条相关)→
「模型」频道最新
- 去审查版 V4.1-Flash 评测：抽象代数跌 6 分，大学数学反涨 5 分 — teortaxesTex · 2026-10-23
- Claude 每小时弹「模型容量已满」,付费用户怒问该不该退订 — Alex-Stack · 2026-10-23
- Kimi K3.1 发布在即，3T 参数+3 个月 RL 被视为成败关键 — teortaxesTex · 2026-10-23
- 多个 Hugging Face 模型突然消失,含「去审查/攻击性安全」微调版本 — umarmnaq · 2026-10-23
- Claude 菜单现神秘模型代号 Fable，博主用量已爆表 — ezshine · 2026-10-23
- 开发者实测：Sol 6.1 的前端代码能力相当不错 — Dimillian · 2026-10-23