Kimi K3 的 KDA 与 Qwen3.8 GDN 对比:逐通道门控让 2D 旋转成为可能
orvieto_antonio · x · 2026-09-23
Delta-rule 线性注意力已成主流
- Delta-rule 线性注意力已进入主流 LLM:Qwen3.8 采用 Gated DeltaNet(GDN),Kimi K3 采用 Kimi Delta Attention(KDA)。
- 两者的核心差异:KDA 把 GDN 的标量门控换成逐通道(channel-wise)门控,作者追问这是否真正提升了递归表达能力。
- 结论:只需两处小改动,KDA 即可实现 2D 旋转,而 GDN 做不到——说明逐通道门控确实带来更强的表达结构。
「研究」频道最新
- Nature Health 论文：AI 已成为健康决定因素，需建立「AI 流行病学」 — EricTopol · 2026-09-23
- ProgramBench 从二进制重建代码库，Claude Opus 5 完成率 4.5% 一骑绝尘 — jyangballin · 2026-09-23
- Opus 5.5 系统卡显示：多智能体更快达成相同结果，仅用 166/200 任务 — jyangballin · 2026-09-23
- 分辨率越高效果越差？显微镜图像超出 CNN 感受野反而拖累模型 — bravo_abad · 2026-09-23
- 构建可自我改进的 AI Agent Harness：六维度自适应架构拆解 — MaryamMiradi · 2026-09-23
- 推理与工具调用分离：双轻量模型 48 小时筛 3 万晶体候选 — bravo_abad · 2026-09-23