Kimi k3 被赞有真实架构创新，加入 residual attention
OwariDa · x · 2026-07-26
转发内容称，Kimi k3 不只是做了蒸馏，还在架构上塞进了真正有意思的创新，比如 attention on layer residuals。作者的观点是：相比只做能力包装，能把真实架构改进做出来并公开出来，对整个行业更有价值。
所属事件:Kimi K3 架构创新曝光，引发显存需求争议(5 条相关)→
「模型」频道最新
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27
- 初创 Mirendil 发布首个模型 Fern：从零预训练、支持 1000 万 token 上下文 — shayan_ · 2026-10-27
- ICML 2026立场论文:别把中间token叫「思考轨迹」 — rao2z · 2026-10-27
- Claude 突然满口英式拼写,用户困惑模型「以为我是英国人」 — cantrell · 2026-10-27
- Cohere 论文：零种子数据生成数据集，质量与多样性双提升 — idanbeck · 2026-10-27
- ARC Prize 排行榜改版：默认展示最高推理档成绩，支持按 v1/2/3 排序 — mhmazur · 2026-10-27