首个 INT4 模型上线 int8-vllm,二手 MI100 128GB 可跑满
1ncehost · reddit · 2026-11-22
- int8-vllm 项目宣布加入 Hy4 Flash 的优化支持,这是该项目首个 INT4 模型:INT4 下可完整塞进 128GB 显存,还剩约 130 万 token 共享上下文空间。
- 实测数据(4x MI100,C8):tg128 达 222.4 tok/s,pp512 达 1655 tok/s;并发 8 时带 2048 上下文的 tg256 为 96.7 tok/s。另有用户在 2x MI210 上跑 Qwen3.8 27B 解码超 1000 tok/s。
- 作者还通过把 epilogue 工作延迟合并进后续融合内核,让 MI100 的向量 ALU 与矩阵核心同时跑满,给多数 GEMM 带来 15% 提升;W4A8 GEMM 支持已加入配套 AITER fork。INT4 checkpoint 用 NeUQI 校准技术制作,发布在 Hugging Face。
- 项目主打 AMD 老卡(MI100/210/50/60 及 RDNA1-3),提供 docker compose 配置。作者指出二手 MI100 目前约 1300 美元,同价新卡算力约翻倍但内存带宽减半,作为推理卡有独特性价比。
「Infra」频道最新
- Vercel 月报:决策模型占网关请求 26%,新团队选 Anthropic 比例 2:1 — markjeffrey · 2026-11-22
- B300 租赁价已到 18 美元/小时,算力「信用紧缩」浮现 — AccBalanced · 2026-11-22
- SC26 现场:AMD 声势空前,Azure HDv2 采用 500 核 Venice EPYC — AccBalanced · 2026-11-22
- SC26 直击:Google 摆展台向开发者推销 TPU,微软主推 HBv5 — AccBalanced · 2026-11-22
- Gary Marcus 调侃史上最大数据中心:三家互绑公司谁先倒 — GaryMarcus · 2026-11-22
- AI 概念股暴跌真相:杠杆崩塌而非信仰坍塌,neocloud 腰斩逾六成 — tengyanAI · 2026-11-22