4×RTX 3090 本地跑 DeepSeek V4.1 Flash:524k 上下文 30-40 tok/s
chota23 · reddit · 2026-11-04
Reddit 用户在 4×RTX 3090(全 PCIe x16)+ 256GB DDR4 上,用 Maya 引擎本地运行 DeepSeek-V4.1-Flash-1017(abliterated GGUF,mix-256G),524k 上下文:
- Prefill:400–600 tok/s;Decode:30–40 tok/s(开启 dspark 峰值可达 60 tok/s)
- Q8 量化下明显变慢:decode 仅 6–8 tok/s,prefill 65 tok/s
- 对比体验:V4.1 Flash 比 0731 版更少复读;但 agent 类任务仍偏好速度更快的 Qwen 3.8 Next Flash(Q8)
作者还在等 Qwen 4,并征求其他多卡方案(xolotl、strata 等)的速度对比。对想在家里搭多卡跑大模型的人是很有参考价值的一手数据。
「Infra」频道最新
- 伯克利开源 LEANN:把 201GB 向量索引压到 6GB,本地 RAG 省 97% 存储 — thisguyknowsai · 2026-11-04
- RTX 5090 市面实际价格突破 9000 美元，NVIDIA GPU 成本持续攀升 — teleforce · 2026-11-04
- 生产数据实测：Qdrant 比 Meilisearch 快 2 倍省 9 倍内存 — qdrant_engine · 2026-11-04
- Antseed 挖来ravikantagrawal主管商务，押注点对点推理开放市场 — ravikantagrawal · 2026-11-04
- 德州将超越弗州成数据中心第一州，大量项目仍在早期阶段 — asusarla · 2026-11-04
- 周处理百万条消息,AI agent 生产环境降本 37% 的 13 条实操 — AccBalanced · 2026-11-04