4 张 Intel B70 跑通 vLLM：450 t/s 预填，修复溢出崩溃
38andstillgoing · reddit · 2026-10-17
一位用户报告成功在 4 张 Intel B70 显卡上跑通 vLLM，运行 QFN 3.8 FP8 模型，共 128GB 显存加 128GB 内存，容器化部署。
- 实测性能：约 450 t/s 预填（prefill）、20 t/s 生成，低于公开基准，作者称多卡适配还需更多改造。
- 关键修复：借助力 LLM（主要是 GLM 5.3 flash）定位并修复/回移了多个 2^32 整数溢出 bug，这些溢出此前导致多卡运行时随机崩溃，修复后系统趋于稳定。
- 修复代码与复现步骤已开源在 GitHub（wormley/B70Quad 仓库），作者此前手动测试几乎所有模型在多 B70 上都崩溃。
「Infra」频道最新
- Vercel 用 AI agent 把 tsgo 移植回 TypeScript，tsc-ts 比 tsgo 快 2-4 倍 — cramforce · 2026-10-17
- Kevin O'Leary 拟在犹他州建年耗 5.58 亿加仑水的数据中心引抗议 — Zachly · 2026-10-17
- AI 挤爆内存之际,有人盼着 RAM 涨价逼退小学生 Chromebook — RachelVT42 · 2026-10-17
- Compute Labs 推出 GPU 融资平台，撮合算力运营商与资本方 — paigeinsf · 2026-10-17
- Google 研究员解密 5:1 SWA 分层设计：源自 XLA 编译与 TPU 约束 — teortaxesTex · 2026-10-17
- Anthropic 获 BB+ 评级，华尔街拟再筹 600 亿美元 AI 芯片融资 — basedjensen · 2026-10-17