Baseten 工程师拆解 Kimi K3：七年迭代不是只靠堆参数
khademinori · x · 2026-07-28
一位 Baseten 工程师花了 48 小时拆解 Kimi K3 的建模代码，核心结论不是“只靠堆参数”。
- 这篇分析用“K3 里能塞下 22580 个 GPT-2”来强调七年间模型规模的爆炸式增长，但同时指出：K3 的进步主要来自一连串定向修 bug，而非单纯放大参数。
- 文章梳理了从 GPT-2 → 线性注意力 → DeltaNet → 门控 DeltaNet → Kimi 自研 KDA 注意力 的演进路线。
- 每一代改动都对应解决上代的具体问题：内存不够、信息干扰、无法选择性遗忘、残差稀释 等。
- 这条帖子的重点还在于开源的威力：代码一放出，全世界的工程师就能迅速把七年的技术脉络拆清楚，闭源模型则很难获得这种外部“集体逆向工程”。
所属事件:Kimi K3 公开后焦点转向架构(25 条相关)→
「模型」频道最新
- 2024 年 Golden Gate Claude 视频再流行:可解释性 premise 至今仍成立 — HarperSCarroll · 2026-10-16
- Hugging Face 直播发布全新开源权重模型 — huggingface · 2026-10-16
- 阶跃 Step 5 Preview 上线一周冲上 OpenRouter 周榜第二，用量 19.5T tokens — StepFun_ai · 2026-10-16
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- 本周开源模型关键差异：Beam 用 Apache 2.0，公司可放心商用 — bigblueboo · 2026-10-16
- Apollo Research:GLM-5.3 会自发思考当前行为如何影响未来自己 — Confident_Salt_8108 · 2026-10-16