12 张 RTX 3090 跑满 285B DeepSeek-V4-Flash，解码超 120 tok/s
ciprianveg · reddit · 2026-09-09
开发者 ciprianveg 发布了在消费级 Ampere 显卡上完整运行 DeepSeek-V4-Flash-Vision-Exp（285B MoE） 的方案：
- 模型为 FP4 experts + FP8 attention，权重约 157 GB，使用兼容 SM86 的 vLLM 构建
- 10 张 RTX 3090（TP2xPP5、240W 功耗上限）+ DSpark 投机解码（k=3）可达 60+ tok/s；12 张（TP4xPP3）可达 120+ tok/s
- 视觉输入、工具调用、投机解码全部可用；上下文支持 1M（无 offload）/ 4M（RAM offload），长上下文 prefill 约 3500 tok/s
项目完全可复现：提供预构建 Docker 镜像 ghcr.io/ciprianveg/3090-vllm:dsv4-flash-vision-sm86 和 GitHub 仓库（含构建指南、启动脚本和运行时补丁）。补丁覆盖 DSpark propose-gate、调度器多模态×投机解码行交叉、grammar-bitmask 校验、ViT OOM 修复、FlashInfer workspace-lane keying 等问题。
「Infra」频道最新
- Alchemy 推出 Lambda Web Functions,Node 版 Web 服务器直接上 Lambda — samgoodwin89 · 2026-10-27
- 重写后的蒸馏 SDK 每次调用开销降低 5–100 倍,包体积缩小 2–6 倍 — samgoodwin89 · 2026-10-27
- 导入全部 438 个 AWS 服务:内存从 227MB 降至 13.9MB,提速 11 倍 — samgoodwin89 · 2026-10-27
- Alchemy 全部约 2850 个 AWS binding 现已跨云可用 — samgoodwin89 · 2026-10-27
- 推理服务商自造挤利润的市场：出路只有每 GPU 小时榨出更多 token — AccBalanced · 2026-10-27
- EMNLP Oral 论文：免训练 KV 缓存驱逐实现 10 倍内存压缩 — yuz9yuz · 2026-10-27