4 卡 Blackwell 实测:lossless-CSF 缓存扩至 11.4M token,AgentX 吞吐远超原版 DeepSeek V4.1 Flash
TheZachMueller · x · 2026-10-30
转发 @keennay 的本地推理对比实测:在 4×RTX PRO 6000 Blackwell 上用 SemiAnalysis AgentX benchmark(Claude Code 256k 轨迹数据集)对比 DeepSeek-V4.1-Flash-1017 DSpark 7 原版与 Local Inference Lab 的 lossless-CSF 版本(vLLM,DSpark + n-gram + RAM offload)。CSF 检查点的 KV cache 余量更大,总 token 达 11.4M vs 原版 1.3M(约 8.7 倍);高并发(C16/C32)下吞吐优势明显,低并发时两者接近,部分场景记录到空响应错误。图表包含吞吐-交互性、TTFT/ITL 延迟、有效并发等多组曲线。
「Infra」频道最新
- Intel 业绩暴雷单日暴跌 29%,创史上最大跌幅 — ivan_bezdomny · 2026-10-30
- 研报拆解 Nebius:竞价模式抬价约 20%,GPU 紧缺到 2028 — BenBajarin · 2026-10-30
- Bittensor 连出新品:Terza Inference 一个 API 聚合全网矿工模型 — const_reborn · 2026-10-30
- OpenRouter 重写路由算法:错误率降 46%,TTFT 快 16.9% — steipete · 2026-10-30
- NVIDIA Nemotron 3.5 Super 发布:120B/12B 激活参数,SWE-bench Pro 得 51.78% — dair_ai · 2026-10-30
- Bonsai 把 Qwen 27B 从 55.6GB 压到 5.9GB,保留 98.2% 跑分 — nicolechirps · 2026-10-30