新报告提出按维度遗忘、跨深度检索和 16/896 MoE
Ahmad_Al_Dahle · x · 2026-07-21
一条回复在概述一份新技术报告里的三个设计点：
- KDA 不再用单一标量衰减，而是把 Gated DeltaNet 的遗忘机制改成按维度学习。
- AttnRes 不再对每一层残差一视同仁，而是跨深度选择性检索。
- LatentMoE 只激活 896 个专家中的 16 个，并用路由分数分位数来做更均衡的分配。
原帖的核心意思是：这些改动都在修正标准实现里常见的“一刀切”假设，比如线性注意力里的统一遗忘、每层残差等权、以及启发式专家均衡。
所属事件:Moonshot 发布 2.8T 开源模型 Kimi K3(14 条相关)→
「模型」频道最新
- 同题 Echo Maze 实测:三大模型看似成功,代码里藏着同一个 bug — eyishazyer · 2026-09-11
- 新基准一出分数暴跌 70 点:「刷榜」现象如何让跑分失真 — airesearch12 · 2026-09-11
- ChatGPT 竟劝用户「问题太复杂,去试试更笨的回答」 — phido3000 · 2026-09-11
- Anthropic 调整年龄验证,Claude 不再向未成年人开放 — Muhammad523 · 2026-09-11
- 有人要建全模型基准分数汇总页 — airesearch12 · 2026-09-11
- 爆料称 Kimi 疑似转发 Claude 冒充自家成绩，DeepSeek 新模型评测反超 — realsohamparekh · 2026-09-11