Kimi K3 约 3 万亿参数铺满 59 片 WSE-3 晶圆,权重常驻仅传激活

petrusenko_max · x · 2026-10-26

Cerebras 展示了用 59 片 WSE-3T 晶圆级芯片部署 Moonshot 约 3 万亿参数的 Kimi K3 模型的方案:每片晶圆承载两层线性注意力层(35 片晶圆)或一层稠密层(24 片晶圆),权重采用 4-bit 存储,剩余 SRAM 用于 8-bit KV cache。关键设计是权重常驻晶圆,晶圆间只传输激活值,避免了权重搬运的带宽瓶颈。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →