律师用 2 台 DGX Spark 加 3090 跑 DeepSeek-V4.1-Flash:256K 预.fill 2600+ tok/s,全部数据开源
TumbleweedNew6515 · reddit · 2026-10-31
此前用 V100 服务器本地跑模型的律师 Nick Mermiges(PLI Labs 创始人)更新了配置:两台 DGX Spark 以 vLLM 张量并行运行 DeepSeek-V4.1-Flash-1017(2.75 bpw EXL3),外加一台 EPYC 3090 机器做两件事——通过 RDMA 从系统内存供应 Engram 表,并在 NVLink 3090 上跑 DSpark 投机解码 drafter。省下的显存给了约 193 万 token 的 KV cache,并配 NVMe prefix cache:15 万 token 的 prompt 重启后首 token 仅 2.58 秒(冷启动 58.6 秒)。
实测数据(sparkDash 协议对齐):
- 结构化 JSON 输出 4 流合计 322 tok/s(单流 138);代码 4 流 192 tok/s,超过 MiaAI 的 166
- 预.fill 是强项:4K 2827 tok/s,256K 2618 tok/s,高于 MiaAI(2065–2155)与 bertholomus(2439–2568)
- 短板:单流散文仅 66 tok/s(MiaAI 80.7);128K 后解码 62 tok/s(bertholomus 99);冷 93K prompt 阻塞短请求 34 秒
- 投机解码 drafter 偏爱代码/JSON(每轮接受 4–5 token),散文仅约 2
准确性:在 KLD 面板上,真实工具调用轮次与原模型 top token 一致率 95.9%(KLD 0.018),优于 bertholomus 公布的 79.4%。仓库、启动脚本、bench 工具与全部原始 JSON 公开;1M 上下文测试、BFCL 工具调用等后续补上。整个项目通过 Claude Code 驱动完成,包括跑分和写文档。
「Infra」频道最新
- Qwen 4 阵容将至,社区追问为何缺席 35B MoE 小卡神器 — solyarisoftware · 2026-10-31
- 马斯克预言2028年底轨道算力新增将超地球，附SpaceX运力路线图 — XFreeze · 2026-10-31
- 本地推理工具 Koboldcpp 发布 v1.124「aesthetic edition」 — Fcking_Chuck · 2026-10-31
- 长鑫 G6 DRAM 工程样片 Q3 完成验证，一年内量产在望 — zephyr_z9 · 2026-10-31
- AI 稀缺搬家论：内存 GPU 晶圆利润率高达 58%-80% — sujingshen · 2026-10-31
- Anthropic S-1 风险因素词频：算力占比 13.4% 力压监管成第一大担忧 — ayushtweetshere · 2026-10-31