研究：仅用小学课程预训练能教LLM学会技能吗
sdroege_ · reddit · 2026-08-16
LittleLearner 研究探究了现代大模型在“习得技能”与“激发已有知识”之间的界限。研究构建了一个 880 亿 token 的语料库，仅包含美国小学课程内容，并据此从头训练模型。
实验发现，虽然缩放定律、SFT+GRPO 后训练以及上下文学习都能放大课程教授的内容，但都无法显著提升模型在课程范围外的表现。这表明预训练数据的过滤实际上设定了模型能力的有效天花板。
所属事件:研究仅用小学课程训练5B模型探LLM知识边界(4 条相关)→
「研究」频道最新
- Netflix 揭秘 LLM Judge 生产实践：每周评估数十万条推荐解释 — omarsar0 · 2026-08-24
- Nature 评论：数据溯源是自主科学的信任基石 — gabepgomes · 2026-08-24
- 新架构 RHEA：8GB 显存即可训练 10 亿参数模型 — zemondza · 2026-08-24
- 跳过 LLM 写代码老套路：自训 16M 参数模型做生成式 CAD — debreuil · 2026-08-24
- Claude 助手发现 6 维球复结构，解 60 年数学难题 — Singularitarian · 2026-08-24
- 研究揭示 AI Agent 行为：六成阅读量来自指令与笔记 — dair_ai · 2026-08-24