论文用知识空间理论测 8 个模型:LLM 数学知识缺乏连贯结构
dair_ai · x · 2026-09-09
一项新研究检验 LLM 的数学知识是"有连贯结构"还是只有"连贯的正确率":
- 方法:用知识空间理论(Knowledge Space Theory)作为规范标准——掌握一个概念必须先掌握其前置概念;评测 8 个开源与闭源模型,并与真实人类学习者对比。
- 核心发现一:模型频繁违反知识依赖关系——前置问题答错,依赖它的后续问题却能答对;且即便在上下文中提供了相关知识,模型也无法借此改进后续问题的表现。
- 核心发现二:8 个模型的知识分布重叠度很低,彼此之间也不存在一致的知识结构。
结论指向:LLM 的数学能力更像是碎片化的正确率堆叠,而非像人类那样有前置依赖的知识体系,这对"用 LLM 推进数学研究"是重要警示。
「模型」频道最新
- 曝 OpenAI 内部系统给出 Navier–Stokes 奇点解析证明,Lean 形式化验证 — Dr_Singularity · 2026-09-09
- Navier-Stokes 被五天攻克?圈内人惊呼不可能正在变可能 — MoonL88537 · 2026-09-09
- OpenAI 烧数百万美元算力解百万奖金难题:1 万 agent 跑 88 小时 — Hesamation · 2026-09-09
- OpenAI 宣布其下一代模型智能体团队解决百年 Navier-Stokes 千禧年难题 — polynoamial · 2026-09-09
- 「显著强于GPT-6 Astra」:OpenAI 内部模型再度领先公开版 — kimmonismus · 2026-09-09
- Inception 发布 Mercury 2.5:扩散 LLM 智能涨 40%,跑出 1100 tokens/秒 — timshi_ai · 2026-09-09