单卡RTX 6000跑DeepSeek V4：长文本推理飙升至1328 tok/s

mrstoatey · reddit · 2026-08-04

开发者使用推理优化工具 Krasis (v1.0.19)，在单张 RTX PRO 6000 (96GB) 上对 DeepSeek-V4-Flash-0731 (INT4) 实现了显著的加速。

该工具通过在显存与系统内存间动态流式传输模型，在保留 6,440 个最热专家的同时，将其他部分卸载至内存。实测中，处理 2.3 万 token 的长提示词时，prefill 速度高达 1,328 tok/s；在 1K 上下文下解码速度达 29.4 tok/s。这为需要频繁传递大量上下文的编程智能体提供了极具性价比的本地部署方案。