Kimi K3采用LatentMoE
NielsRogge · x · 2026-07-17
有人指出，Kimi K3 使用了 NVIDIA 在 1 月提出的 LatentMoE 技术。
LatentMoE 的思路是：把 token 从模型隐藏维度 d 投影到更小的潜空间 ℓ，再做专家路由与计算，从而降低路由参数负载和 all-to-all 通信开销，开销下降比例约为 d/ℓ。
这条信息的重点不只是“新模型”，而是它采用了一个能显著减少 MoE 通信成本的路由计算设计。
所属事件:Kimi K3 引爆中国前沿模型再评估(94 条相关)→
「Infra」频道最新
- 论文：LLM 竞价采购平台可省 10%-71% 推理成本 — _onionesque · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- SGLang Summit 赞助商一周从 11 家涨到 36 家 — ying11231 · 2026-10-18
- Oracle CDS 飙至 300bps 创纪录，被称 AI 交易倒下的第一块多米诺 — arthurcolle · 2026-10-18
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 越狱 PS5 跑 llama.cpp:开源 PS5LM 让主机变身家庭本地 LLM 服务器 — wateriscoding · 2026-10-18