Karpathy：LLM将剥离百科知识，回归小型认知核心
ZeroStateReflex · x · 2026-08-21
Andrej Karpathy 探讨了 LLM 的“认知核心”概念，即牺牲百科知识以换取能力的十亿级参数小模型。他认为，为了更好地泛化，需要限制甚至剥离模型的记忆能力，因为过度依赖记忆会阻碍思考。由于需要大模型帮助重塑训练数据，模型必须先变大再变小。人类难以轻易记忆的特性，在此视角下更像是一种正则化机制而非缺陷。
所属事件:Karpathy 提出 LLM 认知核心概念：剥离百科知识的十亿级小模型(2 条相关)→
「漫话AGI」频道最新
- Kevin Roose 做客 Big Technology 播客,谈通往 AGI 的坎坷之路 — kevinroose · 2026-10-16
- 开发者批 Claude「顶嘴」是 Anthropic 意识形态泄漏：别怪模型怪 Dario — gerardsans · 2026-10-16
- 陶哲轩：数学正告别英雄时代，迈入大规模工业化新纪元 — haider1 · 2026-10-16
- Stripe 设计副总裁 Katie Dill 演讲成 Lenny 播客第三高播放视频 — lennysan · 2026-10-16
- zetalyrae 讽刺理性派：拿贫困论证「AI 极权必要性」是何等论法 — zetalyrae · 2026-10-16
- Jon Stokes：效用函数是事后建构，对齐因此不可能 — sebkrier · 2026-10-16