Kimi K3 开源 2.8 万亿参数权重，带火长上下文与注意力演进讨论
机器之心 · wechat · 2026-07-29
机器之心这篇长文以 Kimi K3 开源为起点，回顾了从 GPT-2 到今天超大 MoE 模型的注意力机制演化路线。
核心信息包括：
- 文中将 Kimi K3 描述为总参数量约 2.8 万亿、上下文窗口达 100 万 token 的 MoE 模型，也是首个落地的近 3 万亿参数级开源大模型。
- 作者对比了 GPT-2 约 1.24 亿参数的规模，指出 7 年间模型规模放大了约 22580 倍。
- 文章接着梳理了技术谱系：最早的 decoder-only Transformer、KV Cache 的重复计算问题、早期实现里 FlashAttention 尚未普及的背景、线性注意力如何用固定大小状态压缩记忆，以及 DeltaNet / fast weight 思路如何用“写入增量”缓解缓存无限增长的问题。
- 文章的主旨不是单纯强调“更大”，而是说明不同架构在容量、可恢复性与效率之间不断做权衡。
所属事件:Kimi K3 公开后焦点转向架构(25 条相关)→
「模型」频道最新
- 网友观察到模型自生成「理想回答」用于训练其他模型 — liminal_bardo · 2026-10-16
- Reflection 开源 Beam 模型权重，采用 Apache 2.0 协议 — victormustar · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- JevBench 榜单更新:d1-ultra 以 76.1 综合分登顶,32 个 API 系统参评 — airesearch12 · 2026-10-16
- LMArena 上线 Agent 与代码双排行榜，可对比各模型智能体实力 — arena · 2026-10-16
- NVIDIA Nemotron-3.5 实测遇冷:Bolt 74B 在 pandas/numpy 与决策类测试不及 nano 版 — norenEnmotalen · 2026-10-16