Baseten 工程师拆解 Kimi K3：七年迭代不是只靠堆参数
khademinori · x · 2026-07-28
一位 Baseten 工程师花了 48 小时拆解 Kimi K3 的建模代码，核心结论不是“只靠堆参数”。
- 这篇分析用“K3 里能塞下 22580 个 GPT-2”来强调七年间模型规模的爆炸式增长，但同时指出：K3 的进步主要来自一连串定向修 bug，而非单纯放大参数。
- 文章梳理了从 GPT-2 → 线性注意力 → DeltaNet → 门控 DeltaNet → Kimi 自研 KDA 注意力 的演进路线。
- 每一代改动都对应解决上代的具体问题：内存不够、信息干扰、无法选择性遗忘、残差稀释 等。
- 这条帖子的重点还在于开源的威力：代码一放出，全世界的工程师就能迅速把七年的技术脉络拆清楚，闭源模型则很难获得这种外部“集体逆向工程”。
所属事件:Kimi K3 公开后焦点转向架构(25 条相关)→
「模型」频道最新
- 爆料称 GLM 5.5 与 Kimi K3.1 即将发布,或与反蒸馏封锁有关 — zephyr_z9 · 2026-10-16
- 75 家企业真实工作基准:GPT-6 与 Claude 排名随任务反转 — BorisMPower · 2026-10-16
- 夸一句就出图：小模型画鹈鹕骑车SVG画质飙升 — Fancy-Snow7 · 2026-10-16
- Rapid-MLX 0.16.2 发布:Apple Silicon 本地跑 Nemotron 3.5 至 120B — kuchaev · 2026-10-16
- 「中国开源末日」说法被质疑：开源模型几乎可自动获得许可证 — eliebakouch · 2026-10-16
- Opus 5.5 发布近月仍领先,但开源决策模型正在追赶 — airesearch12 · 2026-10-16