Kimi K3 与 DeepSeek 的 KV Cache 架构之争
AccBalanced · x · 2026-07-20
针对此前认为 Kimi K3 的 KV Cache 较小将利好 DRAM/NAND 的观点，有推文提出了反驳，认为这种对比过于简单化。
- DeepSeek 的瓶颈：每一层都有随上下文增长的 KV，搜索和获取 KV 是推理操作的瓶颈。
- Kimi K3 的优势：Kimi 获取前一个状态层的数据量通常只有几兆，且大小固定，如果处理不够快会导致 token 吞吐量下降，但不受上下文长度影响。
- 结论：尽管 K3 总参数达 2.8T，依然需要大量 HBM 和 GPU 支持，但其独特的内存处理机制使其在当前竞争中占据优势。
「Infra」频道最新
- Tabul AI 推出 Metal TreeSHAP，加速 Apple silicon 上的 Shapley 计算 — Scobleizer · 2026-07-22
- DeepSeek-V4-Flash 单卡 B300 批量仅 770 tok/s — Moreh · 2026-07-22
- NVIDIA 开始交付 102.4 Tbps 的 Spectrum-6 交换机 — nvidia · 2026-07-22
- Apple 公布 Private Cloud Compute 的 SOC 3 审计报告 — throwfaraway4 · 2026-07-22
- Reddit：GPU 平台总让你在代码、恢复、计费里选两项 — legendpizzasenpai · 2026-07-22
- 智能体执行环境的安全基石：沙盒化宣言 — spirosoik · 2026-07-22