4 卡 Blackwell 实测:lossless-CSF 缓存扩至 11.4M token,AgentX 吞吐远超原版 DeepSeek V4.1 Flash

TheZachMueller · x · 2026-10-30

转发 @keennay 的本地推理对比实测:在 4×RTX PRO 6000 Blackwell 上用 SemiAnalysis AgentX benchmark(Claude Code 256k 轨迹数据集)对比 DeepSeek-V4.1-Flash-1017 DSpark 7 原版与 Local Inference Lab 的 lossless-CSF 版本(vLLM,DSpark + n-gram + RAM offload)。CSF 检查点的 KV cache 余量更大,总 token 达 11.4M vs 原版 1.3M(约 8.7 倍);高并发(C16/C32)下吞吐优势明显,低并发时两者接近,部分场景记录到空响应错误。图表包含吞吐-交互性、TTFT/ITL 延迟、有效并发等多组曲线。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →