DeepSeek V4 Flash 本地跑到百万上下文
Shoddy_Bed3240 · reddit · 2026-07-18
Reddit 用户分享了在 5090 上用 `llama.cpp` 跑 **DeepSeek V4 Flash** 的配置和实测结果，重点是把上下文拉到了 **100 万 token**。 他使用的是 Unsloth 提供的 GGUF 版本，并贴出了完整的 `llama-server` 启动参数，包括： - 1,048,576 的上下文长度 - K/V cache 量化 - 多项 CPU/GPU 分配与 batch 参数 - 指定 chat template、重试惩罚和服务端口等 实测性能大致为： - Prefill 约 650–700 tok/s - Decode 约 17 tok/s - 加载时间约 32 秒 作者认为速度还不如 Qwen 系列理想，但 `llama.cpp` 仍有优化空间。