新报告提出按维度遗忘、跨深度检索和 16/896 MoE
Ahmad_Al_Dahle · x · 2026-07-21
一条回复在概述一份新技术报告里的三个设计点：
- KDA 不再用单一标量衰减，而是把 Gated DeltaNet 的遗忘机制改成按维度学习。
- AttnRes 不再对每一层残差一视同仁，而是跨深度选择性检索。
- LatentMoE 只激活 896 个专家中的 16 个，并用路由分数分位数来做更均衡的分配。
原帖的核心意思是：这些改动都在修正标准实现里常见的“一刀切”假设，比如线性注意力里的统一遗忘、每层残差等权、以及启发式专家均衡。
所属事件:Moonshot 发布 2.8T 开源模型 Kimi K3(14 条相关)→
「模型」频道最新
- ChatGPT 爬虫样例代码被实测：完全剔除所有 Schema 标记 — VeryWellVersed · 2026-10-27
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27
- FrontierML 基准:Kimi K3.1 Pro 成最强开源模型,但仍远落后 Opus 5.5 — teortaxesTex · 2026-10-27
- 七项任务实测:开源模型开高推理档未必更好 — keunwoochoi · 2026-10-27
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27