CMU 论文提出隐式课程假说：LLM 能力按可预测顺序涌现
CatAstro_Piyush · x · 2026-10-17
CMU 研究者（Emmy Liu、Graham Neubig 等）发布论文，提出隐式课程假说（Implicit Curriculum Hypothesis）：预训练中模型能力的涌现遵循跨模型、跨数据混合的组合式且可预测的顺序。
- 团队设计了一套覆盖检索、形态变换、共指、逻辑推理和数学的简单可组合任务，追踪 4 个模型家族、410M–13B 参数规模模型的能力涌现点。
- 发现各模型达到固定准确率阈值的涌现顺序高度一致（45 对模型间 ρ=.81），且组合任务几乎总是在其组件任务之后才涌现。
- 这种结构也编码在模型表征中：功能向量表征相似的任务在训练中轨迹也相似。
- 利用任务集导出的表征空间，可以在不访问训练数据的情况下预测 held-out 组合任务在整个预训练过程中的轨迹（各模型 R²=.68–.84）。
「研究」频道最新
- 谷歌详解自主湿实验室三大研究：让 Agent 学会操作真实生物实验 — Dr_Singularity · 2026-10-17
- 谷歌把 AI Agent 带进湿实验室，DNA 结合体设计成功率三轮从 0% 升至 42.1% — Dr_Singularity · 2026-10-17
- 纯 Rust 视觉定位库 visloc-rs 破百星,集成 SfM 与 3DGS — rsasaki0109 · 2026-10-17
- NIST JARVIS 团队十年积累：AI 材料科学讲座超 220 场全部上线 YouTube — CatAstro_Piyush · 2026-10-17
- 85 万条帖子对比研究:Bluesky 科学讨论更学术复杂,X 更通俗易读 — CurieuxExplorer · 2026-10-17
- 超90%神经元可解释：神经网络与人类共享同一套「现实语言」 — CatAstro_Piyush · 2026-10-17