Kimi K3 论文透露混合注意力与自研 Kimi Linear
peterjliu · x · 2026-07-28
Kimi K3 可能采用了混合注意力和自研 Kimi Linear
这条帖子根据 Kimi K3 论文指出：模型似乎采用了混合的线性注意力 / 全注意力设计，并且使用了自家的 Kimi Linear 变体，作者提到其宣称表现优于全注意力。
帖子认为，这可能是首个被确认采用混合注意力的前沿模型；同时也强调，这类做法在主线前沿模型里非常少见，因为它明显偏离了传统 Transformer 路线。作者还提到，论文里似乎直接去掉了位置编码/位置嵌入。
整体上，这被解读为 Moonshot 对小规模扩展结果有很强信心，才敢把这种架构创新放进主模型。
所属事件:Kimi K3 公开后焦点转向架构(25 条相关)→
「模型」频道最新
- Google 削减权益：Google Plus 订阅的 Pro 模型额度也被限制 — EmergencyLess8861 · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- Meta 开源 Muse Spark Open：两台 Mac Studio 就能跑，许可证禁止冒充人类创作 — mawcopolow · 2026-10-16
- 2024 年 Golden Gate Claude 视频再流行:可解释性 premise 至今仍成立 — HarperSCarroll · 2026-10-16
- Hugging Face 直播发布全新开源权重模型 — huggingface · 2026-10-16
- 阶跃 Step 5 Preview 上线一周冲上 OpenRouter 周榜第二，用量 19.5T tokens — StepFun_ai · 2026-10-16