一篇深度复盘把 Kimi K3 追溯到 GPT-2 与 8 篇论文
Madisonkanna · x · 2026-07-27
- 这条转发配合被引文章，试图把 Kimi K3 放回一条从 GPT-2（2019） 开始的长期缩放演进链里理解。
- 文中用了一个夸张的比喻：22,580 个 GPT-2 才能装进一个 Kimi K3，想表达的是七年里靠规模和训练工程累积出来的跃迁。
- 发帖人说自己花了 48 小时 读 Kimi K3 的建模代码，并对照了 8 篇论文，把这条技术路线从 2019 年一路梳理到现在。
- 这是一条偏深度的技术复盘帖，重点在模型家族如何一步步演进。
所属事件:Kimi K3 公开后焦点转向架构(25 条相关)→
「研究」频道最新
- Scaling 拟合之争:Uncheatable 计入输出头 FLOPs,Paloma 剔除,最小档差距高达 65% — dlwh · 2026-10-27
- Marin 作者详解 scaling law 公式：难点在小模型阶段估渐近线 — dlwh · 2026-10-27
- Marin 开源 scaling law 外推 300 倍，预测大模型 loss 误差仅 0.2% — dlwh · 2026-10-27
- Marin 公开两版 scaling 预测对比：Paloma 误差 0.4% 远优于初版 1.9% — dlwh · 2026-10-27
- AW-0 机器人模型实测:RoboTwin 50 项任务成功率 80.8% 远超基线 — trevordarrell · 2026-10-27
- AW-0 用代码流改变世界模型预测:同一指令下精准选中目标物体 — trevordarrell · 2026-10-27