8 个 LLM 与 1.8 万人对比:模型会做难题却常缺失基础知识结构
rohanpaul_ai · x · 2026-09-12
基于知识空间理论(KST)的评估发现,LLM 能答对高阶问题,却经常答不上其下层前置技能,与人类学习者形成鲜明反差。
- 人类学习者整体正确率 79.6%,答对的题中 72.7% 同时答对了全部被测前置技能;Qwen3-80B-Instruct 正确率高达 92.5%,但只有 48.16% 的正确答案具备完整前置知识一致性。
- 前置示例并不比同技能或相似示例更能提升表现;标准 reasoning judge 也基本察觉不到这种结构缺陷。
- 结论:高准确率可能掩盖彼此割裂的知识孤岛,建议用「简单+困难」关联题组而非孤立 benchmark 题来评估推理模型。
所属事件:研究发现大模型数学推理缺乏类人知识结构(2 条相关)→
「研究」频道最新
- DeepMind 首发智能经济学研究：AGI 冲击经济靠协同而非单模型变强 — Scobleizer · 2026-10-31
- 把整台任天堂塞进 1GB 权重：Qwenputer 衍生出 Nesformer — idanbeck · 2026-10-31
- AI 时代何为「科学发现」？ICLR 2027 提案 SCOPE 研讨会聚焦争议 — mariyaivasileva · 2026-10-31
- 机器人操作新基准 MolmoSpaces-CommonSense:所有策略无一超过 30% — RanjayKrishna · 2026-10-31
- 用培养脑细胞做视频模型：mischief 1 上线，每秒仅 0.5 美分 — evilsocket · 2026-10-31
- 斯坦福 CS336 笔记:Percy Liang 讲透 Scaling Laws 的思维方式转变 — stanfordnlp · 2026-10-31