网友自组 4×Intel Arc Pro B65 实测:Qwen3.8 长上下文吞吐全量数据公开
SamSausages · reddit · 2026-10-20
鉴于 Intel Arc Pro B65 几乎没有现成跑分,一位用户自组 4 卡 B65 平台,用 vLLM 对多款模型做了系统性的长上下文吞吐扫描。
- 测试对象包括 Qwen3.8-Flash-Next-W4A16 与 Qwen3.8-27B(INT4/FP8),覆盖 0–200K 上下文、C1–C16 并发,记录总吞吐与单请求中位吞吐
- 结果显示高内存带宽在多卡扩展下收益明显:27B INT4 四卡在零上下文 C8 可达约 468 tok/s 总吞吐,但随上下文增长与并发提升,单请求吞吐显著衰减,超出容量时请求排队
- 另在做层级卸载到系统内存的初步测试(目前仅 Flash-Next),已有有趣结果
- 全部数据矩阵与卸载测试公开在 b65.thekaiser.us,作者接受指定测试请求
「Infra」频道最新
- MCP 7 月 28 日版本实现远程服务器无状态化 — bibryam · 2026-10-23
- MCP 生态大会:AAIF 成员达 305 家,Skills over MCP 等路线图曝光 — bibryam · 2026-10-23
- 仅 8% 云厂商支持 OIDC,开发者呼吁彻底告别长期 API 密钥 — cramforce · 2026-10-23
- Swift-1.5-Qwen3.8-27B 移植 hipfire:7900 XT 上端到端快 2.2 倍 — Queasy_Asparagus69 · 2026-10-23
- Intel CTO:芯片产能最多翻倍,追不上 AI 算力每年 3 倍增速 — SammaVaco · 2026-10-23
- 工程师拆解投影电视唤醒慢根因:双 Linux 板冷启动拖慢 10 秒 — banteg · 2026-10-23