Kimi K3 论文去掉位置嵌入，明显偏离 Transformer 传统
peterjliu · x · 2026-07-28
作者在读 Kimi K3 论文后，认为里面有不少真正的架构创新，而不是对 Transformer 的小修小补。
帖子里最突出的点是：Kimi K3 甚至去掉了位置编码/位置嵌入。作者把这看作对传统 Transformer 规范的一次大胆偏离，认为这说明团队在做真正的研究，而不是照搬现有设计。
所属事件:Kimi K3 架构深度解析：2.8T参数与注意力机制革新(16 条相关)→
「研究」频道最新
- 新 scaling law 发现：部分规模下重复训练胜过改写 — burny_tech · 2026-07-29
- 经验蒸馏复现：保住 44.1% 的代理 ICL 增益 — burny_tech · 2026-07-29
- Cohere Labs 将在 Deep Learning Indaba 带来 Triton 教程和 AI 圆桌 — Cohere_Labs · 2026-07-29
- DeepMind 重组 AlphaFold 团队，人才转向 Gemini 和 Agent — 机器之心 · 2026-07-29
- UltraEP 把 MoE 实时均衡带进小红书机架级推理栈 — 机器之心 · 2026-07-29
- Triangle Splatting SLAM 用可微三角形做密集 RGB-D 建图 — janusch_patas · 2026-07-29