47 美元运行 DeepSeek-V3：剪枝加量化实现 47 tok/s
StefanoGogioso · x · 2026-08-23
该 GitHub 项目展示了如何在约 47 美元的预算下运行 DeepSeek-V3-Flash（原文误作 v4），实现 47 tok/s 的生成速度和 40 万上下文。
核心技术手段包括：
- 使用 exl3 3-bit 量化。
- 配合 18.5% 的剪枝 (Pruning)。
- 强调在量化基础上叠加剪枝是进一步降低硬件门槛的关键。
所属事件:47美元单卡运行DeepSeek-V3-Flash 实现47 tok/s(2 条相关)→
「Infra」频道最新
- 超 50% GitHub 容量问题源于低效 CI 任务 — cramforce · 2026-08-23
- 呼吁让顶尖建筑师设计数据中心外观 — EddyVGG · 2026-08-23
- 预测市场：明年底前发射太空数据中心概率 25% — Polymarket · 2026-08-23
- 风投提议在美墨边境建巨型数据中心网络 — Polymarket · 2026-08-23
- 实验计划：Mac 本地跑 Qwen 模型对抗云端安全扫描 — natesiggard · 2026-08-23
- 双 R9700 运行 vLLM：多实例导致吞吐减半 — Certain_Series6810 · 2026-08-23