int8-vllm 重写服务栈：4x MI100 跑 27B 模型超 1000 tok/s
1ncehost · reddit · 2026-11-05
Reddit 用户 1ncehost 发布了维护的 vllm int8 fork（curvedinf/int8-vllm），几乎重写了整个服务栈以支持主线 vllm 缺乏的 int8 推理，目标硬件是老款 AMD 卡（MI100、MI50、MI210、V620、vega7000 系）及 Volta/Ampere 等 int8 向的 NVIDIA 卡。
要点：
- 4x MI100 或 2x MI210 可让 Qwen3 27B 在 C8 下解码超 1000 tok/s
- 修复了 vllm/rocm 的多处数值 bug，int8 权重+激活+KV cache 下质量接近 BF16 参考
- 为运行 NVIDIA Nemotron Bolt 原始 checkpoint，新增融合 NVFP4/IQ2xxs 到 int8 的反量化，并用可配置缓存保留常用 int8 权重
- 加入 AMD Infinity Storage 直读加载（跳过 CPU），Bolt 模型加载从约 7 分钟降到 2 分钟
- 作者已生产环境稳定运行数周
「Infra」频道最新
- FT:微软否决与英国 Nscale 的数十亿美元 AI 交易 — nordicinst · 2026-11-05
- 微软发力端侧编码 AI:128GB 统一内存 RTX Spark PC 免 token 费跑编码模型 — lee_stott · 2026-11-05
- 64GB 内存能跑什么？Reddit 用户求解 Qwen 3.8 27B 之后的本地模型选择 — xdcfret1 · 2026-11-05
- 百度开源 ERNIE 5.5 Flash Base：280B MoE 仅激活 14B，支持百万上下文 — Baidu_Inc · 2026-11-05
- Revolut 自托管 GLM 后编程账单降至 API 的 1/7 — alex_verem · 2026-11-05
- 开发者放话：低于 256GB 显存的 GPU 不值得买，价格将下跌 — AIFlow_ML · 2026-11-05