多卡满载部署 DeepSeek V4，Prompt 处理速度仅 600 t/s
fragment_me · reddit · 2026-08-02
开发者使用 5 张消费级显卡（2x 3080, 2x 3090, 5090）全显存加载 DeepSeek V4 的 IQ3XXS 量化版本，但发现 Prompt 处理（PP）速度仅约 600 t/s，难以作为日常模型使用。
作者已排除显存溢出或软件版本过旧的问题，正在尝试 Profiling，并在社区求助其他开发者的多卡 PP 性能基准数据。
所属事件:DeepSeek V4 Flash 本地部署潮(26 条相关)→
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16