单卡 Intel B65 跑 Qwen3.8 达 62 tok/s,XeStrata 4-bit 实测
SamSausages · reddit · 2026-10-31
Reddit 用户 SamSausages 公布了单张 Intel B65(32GB)配合 XeStrata Flash-Next 4-bit 量化的本地推理实测数据,运行 Qwen3.8-Flash-Next 将专家权重offload 到系统内存:
- 单用户:调优后(XeStrata,PCIEFRAC 0.5、65536 上下文等)中位输出 62.4 tok/s,首 token 延迟 2.1s;默认配置也有 57.5 tok/s
- 并发性能:2 用户聚合 48.7 tok/s、4 用户 44.6 tok/s(逐个排队,首 token 延迟升至 5.2s/11.4s),更适合单用户体验
- 横向对比:同权重下 A6000 + llama.cpp MTP-2 单用户 52.8 tok/s,但 2 用户聚合达 75.2 tok/s,并发明显更强;而 B65 走 llama.cpp SYCL 仅 17.9 tok/s,XeStrata 引擎提升巨大
- 作者认为 Intel 入门卡近 6 个月进步显著,即便近期涨价,配合大内存仍是最佳入门本地推理方案
完整图表与原始数据见作者站点。
「Infra」频道最新
- Anthropic S-1 数据推算:订阅仅占收入 18%,却烧掉过半算力 — teortaxesTex · 2026-10-31
- NVIDIA 通报 Brev 平台安全事件：10 月 4 日至 20 日 SSH 密钥或泄露 — HowDevelop · 2026-10-31
- 云平台 Northflank 遭入侵:官方要求所有用户立即轮换全部密钥 — basedjensen · 2026-10-31
- Arm 高管：AI 数据中心需第三类「agentic CPU」，DPU 成安全刚需 — BenBajarin · 2026-10-31
- Seroter 第900期阅读清单：agent 爬坡优化与 prefix caching 成本陷阱 — rseroter · 2026-10-31
- 后训练 API 推出端到端自定义损失:本地定义远程 GPU 执行 — ibab · 2026-10-31