实测 exllamav3 3bpw 跑 Flash:单张 5090 达 1500 prefill/29 tps
youcloudsofdoom · reddit · 2026-09-21
Reddit 用户分享用 ExLlamaV3/exl3 以 3bpw 量化本地运行 Flash 模型的实测体验,称效果惊人,准备替换 vllm/llama.cpp:
- 3x3090 + 128GB DDR4:1500 tps prefill,80 tps decode
- 单张 5090 + 128GB DDR4:1500 tps prefill,29 tps decode
- 两种配置均在 262k 上下文下测试,开启视觉与投机解码
- 3bpw 量化质量目前看不错,后续会补 4bpw 对比
作者推荐此前观望 exl3 的人尝试。
所属事件:ExLlamaV3 3 比特量化实测：单张 5090 跑 Flash 效果惊人(2 条相关)→
「Infra」频道最新
- Cloudflare Quick Tunnels:一条命令把 localhost 变公网 URL — Arindam_1729 · 2026-09-21
- AI 数据中心扩张引发 ABF 载板供应缺口担忧 — BenBajarin · 2026-09-21
- Lumentum 展示跨数据中心光互联：让两座 AI 数据中心合为一体 — BenBajarin · 2026-09-21
- WSJ：美国 AI 算力扩张靠人工巡线，闻焦味防鸟撞成日常 — xiaosun86 · 2026-09-21
- Polymarket 速报:FAA 下周一起启用 AI 空管工具 — Polymarket · 2026-09-21
- NVIDIA DGX Spark 零售价大涨，Micro Center 从 4500 美元上调 — firstadopter · 2026-09-21