自托管 DeepSeek V4.1 Flash 实测：单会话 160 tokens/s，5 会话仅剩 30-50
gnukeith · x · 2026-11-08
博主 gnukeith 分享自托管 DeepSeek V4.1 Flash 的带宽账：单会话高保真近无损量化推理约 160 tokens/s；若侧重并行，5 个会话同时只能做到每个 30-50 tokens/s。他表示希望找到突破带宽限制的方法，但坦言这受物理规律约束。
「Infra」频道最新
- Hyperbolic CEO 谈算力做市:三年长约对三周需求的市场空隙 — YiMaTweets · 2026-11-08
- Ben Bajarin 反驳「不需要数据中心」论:企业软件上云史正在重演 — BenBajarin · 2026-11-08
- 35 种量化组合实测:Qwen3.8 27B 的 KV 缓存 8-bit 几乎无损 — Hefty_Wolverine_553 · 2026-11-08
- 租 8×H200 烧 $4600 零进展,Tinker 跑同一训练全程不足 $100 — simonguozirui · 2026-11-08
- 算力上太空是必然：反对数据中心的人还要反对到宇宙吗 — Dr_Singularity · 2026-11-08
- 开源工具 Strata 让 RTX 3060 本地跑 DeepSeek V4.1，每秒 9-11 token — alex_verem · 2026-11-08