Karpathy：核心智能或仅需 1B 参数，90% 模型在为无用记忆付费
solyarisoftware · x · 2026-11-06
Andrej Karpathy 提出「小模型」论断：90% 的现有模型把大量容量和金钱浪费在记忆无关紧要的内容上，并给出关于小型 LLM 的五个核心论点：
- 智能不等于知识：剥离记忆的互联网语料、保留推理能力，剩下的「认知核心」其实很小。
- 核心可能只要 1B 参数甚至更少：「Plenty of room at the bottom」——我们一直在为图书馆付费，而需要的只是大脑。
- 规模不再是瓶颈：让 agent 好用的是它能调用的工具和反馈回路的紧密程度，不是参数量。
- 智能在系统而非权重：裸 LLM 是没有操作系统的 CPU，小核心 + 好的 harness 胜过单独的巨型模型。
- 你可以拥有它：跑在自己硬件上的模型不会被限流、涨价或弃用。
同一上下文中，Davidstout 引用此论开源了 TwIL-8B（88 亿参数），宣称在编码达前沿模型 93%、指令遵循 92%、竞赛数学 90% 的水平，可跑在自有硬件上，并主张下一个 AI 时代的分水岭是「完成工作的成本」而非单纯智力。
「模型」频道最新
- Mercury 3 发布不到两周处理量破 2 万亿 token,日用量线性增长 — StanfordAILab · 2026-11-06
- 同一模型 Mac 直连与 iPhone LM Link 输出差异大,原因存疑 — simplext · 2026-11-06
- 「AI 告诉我 Anthropic 估值从 2 万亿跌到 200 亿」——AI 幻觉名场面 — michalmalewicz · 2026-11-06
- 改一个字母绕过鉴权,Hugging Face 聊天管理 API 可批量导出用户私聊 — cyb3rops · 2026-11-06
- 腾讯混元 Hy4 上线 OpenDesign，前端与复杂 UI 能力获升级 — TencentHunyuan · 2026-11-06
- Mistral Large 4 开放权重：万亿参数多模态 MoE 开源 — AxSaucedo · 2026-11-06