6x3090 跑 2.9bpw 量化版 DeepSeek V4.1 Flash,APEX 2025 得分超 GPT-5.4
hp1337 · reddit · 2026-11-12
Reddit 用户 hp1337 在 6x3090(128GB、Threadripper 3960x)本地系统上测试了 DeepSeek V4.1 Flash 1017 的 EXL3 2.9bpw 极低比特量化版,在饱和基准 Terminal Bench 2.1、AIME 2026 上表现与未量化版相近。
为获得更高质量信号,他选用了 MathArena 的 APEX 2025 基准,结果:
- 58.3% 准确率,超过 GPT-5.4 (54.17%)、Claude-Opus-4.7 (40.62%),与半年前的 SOTA 接近(GPT-5.5 80.21%、Claude-Opus-4.8 81.25% 仍是第一梯队)
- 推理 token 用量高达 82 万,远超其他模型
- 性能:prefill 约 1000 tps,decode 约 75 tps(3090 限功率 175W)
- 使用的引擎为 Project Maya,量化权重已发布在 Hugging Face
作者希望这套基准选择思路能帮助其他人评测自己的本地部署配置。
「Infra」频道最新
- 450W 热风直灌下一块：Prosumer GPU 散热设计被吐槽 — RexDouglass · 2026-11-12
- 彭博：Nvidia 领导层动荡或加速客户转向 Google 低价 TPU，2027 年 TPU 销售或超 500 亿美元 — dinabass · 2026-11-12
- PyTorch 官方晒北京昇腾 Meetup：中国开源模型占 OpenRouter 流量 45% — PyTorch · 2026-11-12
- 曝 DeepSeek 用华为昇腾 950 预训练 2 万亿参数 V5 — Kyrannio · 2026-11-12
- Hash Rate 播客 EP191：聊 TPN Subnet 65 的 LLM 量化压缩服务 — markjeffrey · 2026-11-12
- 工程实践复盘：AI token 用量仪表盘这样设计才有用 — rseroter · 2026-11-12