Kimi K3 论文去掉位置嵌入，偏离 Transformer 常规路线
bookwormengr · x · 2026-07-28
作者在读 Kimi K3 论文后表示，这篇论文里有不少真正的创新和对传统 Transformer 路线的偏离，并不是“基本还是 Transformer，只加了几个 Noam 小改动”。
他特别提到一个大胆设计：直接去掉了位置编码/位置嵌入。作者表示还会继续深入阅读后补充更多看法。
所属事件:Kimi K3 架构深度解析：2.8T参数与注意力机制革新(16 条相关)→
「研究」频道最新
- Cohere Labs 将在 Deep Learning Indaba 带来 Triton 教程和 AI 圆桌 — Cohere_Labs · 2026-07-29
- UltraEP 把 MoE 实时均衡带进小红书机架级推理栈 — 机器之心 · 2026-07-29
- Triangle Splatting SLAM 用可微三角形做密集 RGB-D 建图 — janusch_patas · 2026-07-29
- DLBCN 2026 面向巴塞罗那深度学习研究开放征稿 — serrjoa · 2026-07-29
- NVIDIA PDD 用 4–8 步蒸馏加速图像和视频生成 — nvidia · 2026-07-29
- TD-JEPA 从离线日志学时间进展，控制任务全面优于 LeWM — HKBU-KnowComp · 2026-07-29