研究:LLM 推理靠预训练学到的程序性知识而非死记答案
egrefen · x · 2026-09-30
Laura Ruis 等人的论文《Procedural Knowledge in Pretraining Drives Reasoning in Large Language Models》研究了 LLM 在推理任务上依赖哪些预训练数据。团队对 7B 和 35B 两个模型、各 2.5B 预训练 token 做影响分析，覆盖三个简单数学推理任务，并与事实问答的数据依赖对比。
- 核心发现:模型对每个事实问题依赖的数据集各不相同,但同一任务内不同推理问题往往受同一批文档影响,说明存在跨问题的程序性知识
- 结论:LLM 推理不是参数化地检索记住的答案,而是运用预训练中习得的可复用程序/步骤
- 这解释了为何 LLM 有泛化能力却在某些推理上仍出现与人类相比的短板,为研究泛化策略提供了绕开 train-test 分离的新方法
该论文 oral 中选，作者在推文中向相关研究者推荐，认为与 Ruis 团队的工作概念上互补。
所属事件:研究称 LLM 推理依赖预训练习得的可复用程序(2 条相关)→
「模型」频道最新
- 让 Opus 5.5 从零造电脑:27.7 万逻辑门跑起 OS 和游戏 — LeviTurk · 2026-09-30
- 爆料称 OpenAI 员工只经 Slack 测产品，Astra 被批太慢 — zephyr_z9 · 2026-09-30
- tinyfool 实测 OpenAI dots：接通与响应极慢，疑因负载拥挤 — tinyfool · 2026-09-30
- Strix Halo实测:Halogen跑Qwen 3.8最快,预填充1045 tokens/s — deepu105 · 2026-09-30
- Gemini 4.0 迟迟不发布引社区猜测,Reddit 热议跳票原因 — Jumpy-Cobbler1020 · 2026-09-30
- 用户实测:Opus 5.5 与上周同设置输出质量明显变化 — skelzer · 2026-09-30