Kimi K3 架构细节曝光
scaling01 · x · 2026-07-16
有人补充了 Kimi K3 的架构信息：它会激活 896 个专家中的 16 个，并提到模型基于 Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes）。
这类信息更偏底层实现，能帮助外界理解它为什么能在规模和推理效率之间做取舍。
所属事件:Kimi K3 上线冲榜，开权重逼近前沿(184 条相关)→
「模型」频道最新
- 「前沿模型 400 美元订阅不可能持久」,团队转向评测开源模型备胎 — ChrisRackauckas · 2026-10-18
- 14.3M 参数通用决策引擎 vega-U：冷接任意冻结 LLM 最高达 0.811 准确率 — kalyan_kpl · 2026-10-18
- 150M 参数小模型拦截离题查询，Macro-F1 91.56% 超越顶级 LLM — kalyan_kpl · 2026-10-18
- Claude Max 订阅用户获赠 200 美元 API 额度，限 2026 年 10 月前使用 — Rough_Exercise7261 · 2026-10-18
- OpenAI 测试列表惊现 aurora 红/绿/蓝三个 alpha 模型检查点 — ChrisGPT · 2026-10-18
- 波兰开发者业余两周造决策模型,开源榜第一超众多商业产品 — lukaszkaiser · 2026-10-18