DeepInfer 为 DeepSeek 4.1F 深度定制：KV cache 每 token 仅 890 字节

teortaxesTex · x · 2026-10-25

• 业内人士指出，DeepSeek 开源的推理框架 DeepInfer 是为其 4.1F 模型深度定制的：任务摊派完全不考虑显存容量，因为 4.1F 的 KV cache 极度优化，每个 token 只需 890 字节，整条 1M token 上下文不到 1G 显存（前代 4F 约需四倍）。
• 正因 KV cache 如此之小，DeepInfer 可以只按 batch size 限流。对比之下，Kimi K3.1 每 token bf16 需约 27kB（约 30 倍开销），FP8 也有 15 倍，且模型尺寸和激活参数更大，叠加主打长上下文定位，推理工作很难展开。
• 引用评论认为 Kimi 的 infra/推理性能太差，导致订阅额度快速耗尽，模型本身很强但体验被拖累。

原文链接 →

「公司和人」频道最新

• Pichai 谈 RSI:正在开发 Argon,但距终点还远 — haider1 · 2026-10-25
• 马斯克晒 Grok 整理的 10 条 Starlink「失败预言」打脸媒体 — elonmusk · 2026-10-25
• 印度工程师远程拿美国薪资：房租为零，与班加罗尔同行同码库 — _jaydeepkarale · 2026-10-25
• ChipAgents 获 Rambus 多年企业协议与战略投资 — WilliamWangNLP · 2026-10-25
• DeepSeek 内部爆料：infra 是老大，可一票否决研究决策 — teortaxesTex · 2026-10-25
• Claude 估算：中国 API 蒸馏年支出约 5000 万至 1 亿美元 — JasonBotterill · 2026-10-25

更多「公司和人」频道 AI 资讯 →