Karpathy 推进 nanochat 修订版:以深度为旋钮系统研究 scaling laws
eliebakouch · x · 2026-11-19
Karpathy 在 nanochat 仓库发布「miniseries v1」讨论帖,阐述他对 LLM 的核心方法论:不应只优化单一模型,而应把模型视为由「算力预算」这一个旋钮控制的模型家族,随算力增加单调变好,这样才能严谨地做 scaling laws 研究,确保「大 run」的投入物有所值。
- 首个 nanochat 公开版侧重跑通端到端全流程,本次回过头补足此前快速略过的环节
- 首个补强对象是预训练:算力开销最大、也是模型智能与知识的地基
- 在 nanochat 中,这个「旋钮」被实现为模型深度
「模型」频道最新
- 爬全网训练模型的 Anthropic,搜索功能却屏蔽了路透社等新闻站 — ssh4net · 2026-11-19
- 开发者首秀:用 ExLlamaV3 对 DeepSeek 4.1 做 EXL3 量化 — HankYeomans · 2026-11-19
- 今年最重要的可解释性成果,全靠开源模型才做成 — georgejrjrjr · 2026-11-19
- 英国 Turing 主权模型路线图曝光:可部署目标定在 2028 年末之后 — bclavie · 2026-11-19
- Gemini 发布间隔指数缩短:28 天到 6 天,AI 摩尔定律显现 — davidyin44 · 2026-11-19
- Google 发布 Gemini 4 Neon,Surge AI 实测登顶 Tuesday@Work 榜首 — echen · 2026-11-19