实测 exllamav3 3bpw 跑 Flash:单张 5090 达 1500 prefill/29 tps
youcloudsofdoom · reddit · 2026-09-21
Reddit 用户分享用 ExLlamaV3/exl3 以 3bpw 量化本地运行 Flash 模型的实测体验,称效果惊人,准备替换 vllm/llama.cpp:
- 3x3090 + 128GB DDR4:1500 tps prefill,80 tps decode
- 单张 5090 + 128GB DDR4:1500 tps prefill,29 tps decode
- 两种配置均在 262k 上下文下测试,开启视觉与投机解码
- 3bpw 量化质量目前看不错,后续会补 4bpw 对比
作者推荐此前观望 exl3 的人尝试。
所属事件:ExLlamaV3 3 比特量化实测：单张 5090 跑 Flash 效果惊人(2 条相关)→
「Infra」频道最新
- 分析师推算：国产芯片放量后中国或按 1:2 配比逐步放开 H200 — teortaxesTex · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- 预算级独显服务器租赁指南:OVH、FiberState 及询价技巧 — realmrfakename · 2026-11-12
- AMD EPYC 评测配图神似 ViT 分割模型 logit 伪影，逗乐 AI 研究员 — giffmana · 2026-11-12
- llama-modchip：64GB 内存纯 CPU 跑 284B 模型，零 GPU — pmttyji · 2026-11-12
- Agent Substrate 计算器：预测不同负载下 agent 会话恢复速度 — pjausovec · 2026-11-12