RTX 3090 本地跑 DeepSeek V4.1 Flash 达 15 tokens/s,整套约 $2500
casper_hansen_ · x · 2026-11-08
开发者 casperhansen 展示在自建 RTX 3090 平台上本地运行 DeepSeek V4.1 Flash 1017,解码速度约 15 tokens/s,称已完全可用,整套硬件成本约 2500 美元。他还公布了后续路线图:自研推理引擎、浏览器插件、新的量化框架,以及在此基础上的迭代。配图给出了详细基准数据:NVMe 模式下 1k32k 提示词解码 17.520.2 tok/s,与精确解码的 top-1 一致率 99.6%;12 万 token 提示词预填充 657 tok/s、解码 18.5 tok/s;warm prefill 可将长上下文续写首 token 时间从 33 秒降到 8 秒左右。
「Infra」频道最新
- Hyperbolic CEO 谈算力做市:三年长约对三周需求的市场空隙 — YiMaTweets · 2026-11-08
- Ben Bajarin 反驳「不需要数据中心」论:企业软件上云史正在重演 — BenBajarin · 2026-11-08
- 35 种量化组合实测:Qwen3.8 27B 的 KV 缓存 8-bit 几乎无损 — Hefty_Wolverine_553 · 2026-11-08
- 租 8×H200 烧 $4600 零进展,Tinker 跑同一训练全程不足 $100 — simonguozirui · 2026-11-08
- 算力上太空是必然：反对数据中心的人还要反对到宇宙吗 — Dr_Singularity · 2026-11-08
- 开源工具 Strata 让 RTX 3060 本地跑 DeepSeek V4.1，每秒 9-11 token — alex_verem · 2026-11-08