研究：仅用小学课程预训练能教LLM学会技能吗
sdroege_ · reddit · 2026-08-16
LittleLearner 研究探究了现代大模型在“习得技能”与“激发已有知识”之间的界限。研究构建了一个 880 亿 token 的语料库，仅包含美国小学课程内容，并据此从头训练模型。
实验发现，虽然缩放定律、SFT+GRPO 后训练以及上下文学习都能放大课程教授的内容，但都无法显著提升模型在课程范围外的表现。这表明预训练数据的过滤实际上设定了模型能力的有效天花板。
所属事件:研究仅用小学课程训练5B模型探LLM知识边界(4 条相关)→
「研究」频道最新
- 自建「主观判断」基准：18 个模型一致性测试，GLM-5.3 登顶 — arkuto · 2026-10-16
- UCSD团队提出数据集水印法，仅凭API输出即可检测训练数据盗用 — yuxiangw_cs · 2026-10-16
- EmbodiedEvo 让 Agent 传承经验：登顶 RoboDojo 榜单 — Aiden_Tech_Ai · 2026-10-16
- 审稿人吐槽 CHI 论文 Discussion 普遍不引用文献 — IanArawjo · 2026-10-16
- 研究者驳「理解神经元即理解网络」：误差会复合放大 — StephenLCasper · 2026-10-16
- NVIDIA 发布 cuPotential，用 AI 智能体模拟半导体材料原子交互 — tomaszbednarz · 2026-10-16