Kimi3 架构大改，是否还算 Transformer？
khademinori · x · 2026-08-18
关于 Kimi3 是否仍属于 Transformer 架构的讨论。作者认为，如果定义包含注意力机制、残差连接、归一化层和前馈网络，那么它仍算作 Transformer，尽管它已用 RoPE、RMSNorm、SwiGLU、GQA、滑动窗口注意力或混合状态空间层替换了标准多头自注意力、传统位置编码、后归一化和标准 ReLU/GELU。
「模型」频道最新
- Grok 4.6 登顶 MedAgentBench,临床智能体任务超 GPT-5.6 Sol — elonmusk · 2026-08-18
- OpenAI 对 GPT-5.6 Sol 降价 50%,SemiAnalysis 称其为份额营销术 — zephyr_z9 · 2026-08-18
- Qwen3.8 27B xhigh 过度思考：23.8K token 换来碾压级效果 — hiImMate · 2026-08-18
- OpenAI 高管接连离职，博主称最好的公关是发布代号 Astra 模型 — bindureddy · 2026-08-18
- Qwen3.8 27B 默认 xhigh 模式意在冲击评测 — frontsideair · 2026-08-18
- Sol 5.6 Ultra 输出极重复，似被 RL 摧毁 — Miles_Brundage · 2026-08-18