4张3060显卡跑通36万上下文DeepSeek，百tok/s实录
syscomua · reddit · 2026-08-18
作者分享了在4张RTX 3060 12GB显卡上运行DeepSeek V4 Flash (Q4KXL量化版)的详细配置与性能数据。
通过精细调整 -ncmoe (MoE层卸载到内存) 和 -ts (张量切分) 参数，实现了在约36万上下文窗口下达到99.4 tok/s的预填充速度。测试发现微批次大小 (-ub) 是性能的关键杠杆，从1024提升至2048显著提高了吞吐量。
「Infra」频道最新
- LifeOS：基于本地模型的语音驱动个人管理工具 — Extension-Bid-639 · 2026-08-24
- 超算中心硬件选型：SSD与HDD的密度权衡 — generativist · 2026-08-24
- 三星展示 HBM 散热新方案，芯片性能存差异 — BenBajarin · 2026-08-24
- Tobi 开源 walgit：无数据库的单二进制 Git 服务器 — jevon · 2026-08-24
- s3collections：用S3构建分布式系统持久化数据结构 — andersonbcdefg · 2026-08-24
- 预测市场：年底前美一州实施数据中心禁令概率 68% — Polymarket · 2026-08-24