老机新用:IBM AC922 跑 Qwen 推理预填充达 7357 tok/s
okoyl3 · reddit · 2026-10-05
作者 fork 推理引擎 Strata,为 2018 年的 IBM AC922(双路 POWER9 + 4×V100 SXM2,NVLink 统一内存)深度改造,跑 Qwen 8B 的 UD-Q4KXL 量化模型,性能从 llama.cpp 原本的 130 tok/s 预填充 / 15 tok/s 解码大幅提升:
- 预填充峰值 7357 tok/s,252K token 长提示下仍达 7090 tok/s(35 秒读完)
- 解码约 113 tok/s(JSON),代码约 100,散文约 84(MTP 投机解码)
- 252K 深度追问首 token 仅 0.26 秒,60 tok/s
- 72 GiB 专家权重全部 page-lock 在双路内存,GPU 经 NVLink 2.0 以约 70 GB/s 拉取
技术要点包括 FP16 替代 BF16、显存管理、专家缓存上 GPU、NVLink 利用率和 Tensor Core 调度,过程中用 Claude Code 反复迭代并用 nsight nsys 排查时间空洞。已开源:github.com/eelgaev/Strata-AC922。
「Infra」频道最新
- DeepMind 研究员估算:全球有效算力每年增长至少 10 倍 — 141_1337 · 2026-11-20
- GPU 短缺之辩:真有 AI 需求的公司仍在被算力饿死 — matt_slotnick · 2026-11-20
- 微软 Bing Web IQ 全面开放:Auto 编排多源检索,为 Agent 提供实时世界知识 — dejanseo · 2026-11-20
- exe.dev 发布 Rex 集成:远程 VM 正成为 agent 时代的主工作台 — davidcrawshaw · 2026-11-20
- 业内人士判断:CUDA 与 ISA 都不再是护城河,芯片创新潮将至 — IgorCarron · 2026-11-20
- MIT 与 NVIDIA 推出 QDA:用智能体自动设计量化方案,64 GPU 小时超越最强人工配方 — omarsar0 · 2026-11-20