DeepSeek-V4 本地实测：A6000+256GB 内存跑 17 t/s
USBhost · reddit · 2026-08-02
一名开发者在 Reddit 分享了 DeepSeek-V4-Flash-0731（Q8 量化版）的本地部署实测数据。在 RTX A6000 (48GB) 与 256GB DDR4 内存的组合下，该模型取得了约 17.2 tokens/s 的稳定生成速度，Prompt 处理速度在 70 tokens/s 以上。作者指出，虽然 48GB 显存理论上足以支撑 100 万上下文，但 Prompt 处理速度会大幅下降。
所属事件:DeepSeek-V4-Flash 本地部署实测：多硬件跑分与极限量化方案(14 条相关)→
「Infra」频道最新
- AMD 入局开源大模型：发布 Instella-MoE-16B 推理模型 — airesearch12 · 2026-08-03
- 美国多州拟取消数据中心税收优惠，AI算力成本或面临上升 — pstAsiatech · 2026-08-03
- 低显存跑视频模型太慢？开发者探讨 HuggingFace Pro 订阅的性价比 — Smooth-Telephone9443 · 2026-08-03
- AI 离线推理怎么做？开发者热议批量任务的最佳工程实践 — cmm324 · 2026-08-03
- AI 工程师必看：LLM 推理部署与优化 10 周实战路线图 — _jaydeepkarale · 2026-08-03
- 应用开发者应自研端侧模型：将算力下放给用户 — abacaj · 2026-08-03