Karpathy 提出 LLM 认知核心概念：剥离百科知识的十亿级小模型

Andrej Karpathy 提出大模型"认知核心"的概念，设想未来出现一个牺牲百科知识以换取能力的几十亿参数级小模型。他认为模型为了获得更强的泛化和"思考"能力，需要限制甚至剥离记忆能力，因为过度依赖记忆会妨碍泛化，最终形成体积很小但推理能力极强的模型。

2026-08-20 ~ 2026-08-21 · 2 条相关