DeepSeek V4 Flash 本地跑到百万上下文
Shoddy_Bed3240 · reddit · 2026-07-18
Reddit 用户分享了在 5090 上用 llama.cpp 跑 DeepSeek V4 Flash 的配置和实测结果，重点是把上下文拉到了 100 万 token。
他使用的是 Unsloth 提供的 GGUF 版本，并贴出了完整的 llama-server 启动参数，包括：
- 1,048,576 的上下文长度
- K/V cache 量化
- 多项 CPU/GPU 分配与 batch 参数
- 指定 chat template、重试惩罚和服务端口等
实测性能大致为：
- Prefill 约 650–700 tok/s
- Decode 约 17 tok/s
- 加载时间约 32 秒
作者认为速度还不如 Qwen 系列理想，但 llama.cpp 仍有优化空间。
「Infra」频道最新
- 3 张二手 V100 跑 Qwen 近 400 tokens/秒 — jfinkpottery · 2026-10-27
- RFD4-Proteina 跑在 RTX 3060 上:单次蛋白设计最低约 $0.001 — AllThingsApx · 2026-10-27
- 开发者抱怨 npm 新包上线要等 20 分钟，疑为防 AI 攻击限流 — cocktailpeanut · 2026-10-27
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27
- 分析师实测 RTX Spark 笔记本：满载跑 30B 模型风扇不吵、续航出色 — Scobleizer · 2026-10-27
- Reflection AI的Beam-1.0登顶美国开源权重模型：23B激活参数逼近Qwen3.8 — ryanshrout · 2026-10-27