4张3060显卡跑通36万上下文DeepSeek，百tok/s实录
syscomua · reddit · 2026-08-18
作者分享了在4张RTX 3060 12GB显卡上运行DeepSeek V4 Flash (Q4KXL量化版)的详细配置与性能数据。
通过精细调整 -ncmoe (MoE层卸载到内存) 和 -ts (张量切分) 参数，实现了在约36万上下文窗口下达到99.4 tok/s的预填充速度。测试发现微批次大小 (-ub) 是性能的关键杠杆，从1024提升至2048显著提高了吞吐量。
「Infra」频道最新
- Google Willow 芯片量子纠错降 40 倍，比特币 Q-Day 或提前 — jamestagg · 2026-10-16
- Vibe coding 数据管道易,亿级生产可靠难:八大数据工程课题清单 — Zachly · 2026-10-16
- 大型数据中心仅约50-150个常驻岗位,微软首楼约50名全职员工 — brezina · 2026-10-16
- 2027 年笔记本将跑 Opus 5.5 级模型？Qwen 27B 数据佐证 — cephaloform · 2026-10-16
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16