DeepSeek V4 Flash 预填充提速方案：降级 CUDA 至 13.1
fragment_me · reddit · 2026-08-03
针对 DeepSeek V4 Flash 在处理 prefill/pp 时速度不佳的问题，作者分享了两种有效的提速方案（可提升 100-150 t/s）。
- 方案一（推荐）：将 CUDA 从 13.3 降级至 13.1。因为从 13.2 版本开始，系统默认使用 DeviceTopK 替代 argsort 进行 top-k 运算，这会导致 PP 速率大幅下降。
- 方案二：如果必须使用 CUDA 13.3，可以使用一个经过修改的 fork 版本。
作者分析指出，DS4 Flash 目前将大量时间消耗在了矩阵乘法以外的操作上。
「Infra」频道最新
- 作者实测 2×GB10 本地调优 GLM-5.3-Flash：解码速度提升近 20% — EAccelerate_42 · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16
- llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速 — jacek2023 · 2026-10-16