小模型如何学会像大模型思考
jbhuang0604 · x · 2026-07-17
文章从第一性原理解释“小模型如何学会像大模型一样思考”，主题是知识蒸馏。 重点包括： - on-policy distillation 作为模型间知识迁移的强方法 - token-level 与 sequence-level 蒸馏的区别 - on-policy distillation 在推理能力迁移中的作用 - 自蒸馏在推理与持续学习中的应用 整体是在梳理知识蒸馏的核心机制与几类延伸方向。
「研究」频道最新
- Agent Arena 发布 agent 评测因果追踪方法与完整榜单 — arena · 2026-07-21
- Coincidex 探索无回放持续学习 — theawkwardbong · 2026-07-21
- LLM每token能耗或已低于人脑 — jd_pressman · 2026-07-21
- 机器人RL用写实场景零样本迁移 — lukas_m_ziegler · 2026-07-21
- 用股价估算 AI 宏观影响的论文 — daveholtz · 2026-07-21
- 为什么单 Agent 往往够用 — UsedMorning9886 · 2026-07-21