Kimi K3采用LatentMoE
NielsRogge · x · 2026-07-17
有人指出，Kimi K3 使用了 NVIDIA 在 1 月提出的 LatentMoE 技术。
LatentMoE 的思路是：把 token 从模型隐藏维度 d 投影到更小的潜空间 ℓ，再做专家路由与计算，从而降低路由参数负载和 all-to-all 通信开销，开销下降比例约为 d/ℓ。
这条信息的重点不只是“新模型”，而是它采用了一个能显著减少 MoE 通信成本的路由计算设计。
所属事件:Kimi K3 引爆中国前沿模型再评估(94 条相关)→
「Infra」频道最新
- 双 DGX Spark 实测：GLM-5.3-Flash 写作与视觉胜过 DeepSeek-V4-Flash — kuhunaxeyive · 2026-09-03
- Jeff Dean 2007 年幻灯片流出：数据中心硬件故障实录 — SumitGup · 2026-09-03
- 谷歌 Hot Chips 发布第八代 TPU:一年两款芯片,推理训练分开设计 — firstadopter · 2026-09-03
- 数据中心耗水是迷思？现代机房多用闭路冷却，用水仅如写字楼 — GlenBradley · 2026-09-03
- 推理工程吃香：vLLM/SGLang 搭副本加缓存路由核心配方 — GabGarrett · 2026-09-03
- Databricks 在 VLDB 2026 主推 agent 原生数据基础设施 Lakebase — matei_zaharia · 2026-09-03