Kimi K3 论文透露混合注意力与自研 Kimi Linear
peterjliu · x · 2026-07-28
Kimi K3 可能采用了混合注意力和自研 Kimi Linear
这条帖子根据 Kimi K3 论文指出：模型似乎采用了混合的线性注意力 / 全注意力设计，并且使用了自家的 Kimi Linear 变体，作者提到其宣称表现优于全注意力。
帖子认为，这可能是首个被确认采用混合注意力的前沿模型；同时也强调，这类做法在主线前沿模型里非常少见，因为它明显偏离了传统 Transformer 路线。作者还提到，论文里似乎直接去掉了位置编码/位置嵌入。
整体上，这被解读为 Moonshot 对小规模扩展结果有很强信心，才敢把这种架构创新放进主模型。
所属事件:Kimi K3 公开后焦点转向架构(25 条相关)→
「模型」频道最新
- 爆料称 GLM 5.5 与 Kimi K3.1 即将发布,或与反蒸馏封锁有关 — zephyr_z9 · 2026-10-16
- 75 家企业真实工作基准:GPT-6 与 Claude 排名随任务反转 — BorisMPower · 2026-10-16
- 夸一句就出图：小模型画鹈鹕骑车SVG画质飙升 — Fancy-Snow7 · 2026-10-16
- Rapid-MLX 0.16.2 发布:Apple Silicon 本地跑 Nemotron 3.5 至 120B — kuchaev · 2026-10-16
- 「中国开源末日」说法被质疑：开源模型几乎可自动获得许可证 — eliebakouch · 2026-10-16
- Opus 5.5 发布近月仍领先,但开源决策模型正在追赶 — airesearch12 · 2026-10-16