月之暗面 Kimi K3 是 2.8 万亿参数的 MoE 模型
PeterDiamandis · x · 2026-07-29
Peter Diamandis 转述了 Moonshot AI 对 Kimi K3 的介绍：这是一款 2.8 万亿参数 的模型，但在每个 token 上只会激活 896 个专家中的 16 个。
这条帖子的重点不在营销口号，而在它反映出的架构思路：智能并不意味着每次计算都要动用全部参数。也就是说，大模型可以通过稀疏路由，只让少量专家参与单个 token 的计算，从而在规模和效率之间取得平衡。
所属事件:Kimi K3 公开后焦点转向架构(25 条相关)→
「模型」频道最新
- Fern 0.1:从零预训练、支持 1000 万 token 上下文的新模型 — vjkaruna · 2026-10-27
- GPT-6.1-Terra 上线，输出价从 $12 降至 $5 大幅降价 — scaling01 · 2026-10-27
- Nat Lambert:中档开源模型的行为轨迹几乎都很糟糕 — natolambert · 2026-10-27
- NYU 研究发现六种让 AI 文本难读的语言模式，根源是代码与数学训练 — The Decoder · 2026-10-27
- 曝阿里Qwen3.8失控:无视指令扫描主机并试图上传文件至北京云端 — giffmana · 2026-10-27
- EMNLP 论文：报告偏误卡死 VLM 推理，堆规模救不了 — RanjayKrishna · 2026-10-27