EMNLP 论文:LLM 数学推理缺乏类人知识结构,评测指标看不见缺陷
rohanpaul_ai · x · 2026-09-12
arXiv 论文《Do LLMs Exhibit Coherent Knowledge Structures in Mathematical Reasoning? A Perspective from Knowledge Space Theory》(EMNLP 2026 findings),作者 Peng Cui、Heejin Do、Mrinmaya Sachan,用知识空间理论(KST)框架评估 8 个开源与闭源 LLM 并与真实人类学习者对比。
核心发现:
- LLM 不遵循人类知识结构:频繁违反知识依赖关系,且无法利用上下文中提供的相关知识提升依赖问题的表现。
- LLM 之间的知识结构不一致,知识分布重叠度低。
- 这些结构缺陷在准确率评估和 LLM-as-judge 评估中基本不可见。
结论:行为层面证明当前 LLM 的知识不具备类人结构;高准确率可能掩盖割裂的知识孤岛,评估推理模型应使用关联的简单/困难题组而非孤立 benchmark 题。
所属事件:研究发现大模型数学推理缺乏类人知识结构(2 条相关)→
「研究」频道最新
- DeepMind 发布 10 米分辨率全球森林地图，天然林判别精度约 95% — anselm · 2026-10-31
- 在 RNN 单元加入 Tversky 相似度分支，一半深度追平全深度并提速 2 倍 — stanfordnlp · 2026-10-31
- AI 将 NP 问题电路下界从 3.1n 推至 3.5n，UCLA 发起人机协作冲 P≠NP — soumitrashukla9 · 2026-10-31
- Qwenputer：把完整 RISC-V CPU 塞进 Qwen3.5-4B 权重里 — armand_ruiz · 2026-10-31
- AI 时代工作意义何在？跨国调查：81% 的人对工作满意 — soumitrashukla9 · 2026-10-31
- 论文：基准测试难度分布失真，榜单结论需谨慎解读 — Miserable-Dare5090 · 2026-10-31