单张 Intel ARC B70 跑 Qwen3.8-Flash-Next:2.5K prefill、47 token/s
WizardlyBump17 · reddit · 2026-11-20
Reddit 用户分享用单张 32GB Intel Arc B70 显卡运行 Qwen3.8-Flash-Next(IQ3XXS 量化)的完整实测数据:
- 2.5K 上下文 prefill 约 2529 t/s,生成约 47 t/s
- 250K token 长 prompt 也能跑:prefill 约 2184 t/s,端到端首响应正常
- 使用 Strata(SYCL 版)推理栈,给出完整 podman 启动命令,含 prefill=30000、prefill-borrow、spec=4、expert-cache=20000、kv-resident=32768 等参数
- 32GB 显存全部占满;若需给显示留空间可调 vram-reserve-mib,速度损失不大
- 完整配置:Ryzen 7 5700X3D + B580(显示用)+ B70(AI 用),48GB 内存,Ubuntu 25.10,xe 内核风扇补丁
想复现非 NVIDIA 生态本地推理的可以照抄命令。
「Infra」频道最新
- 美国机床一半靠进口:Physical AI 的俄罗斯套娃式瓶颈 — chrisgrayson · 2026-11-20
- KB证券:明年DRAM合约价将涨40%,大客户只能拿到七成货 — tengyanAI · 2026-11-20
- 美国新规或封堵台积电三星代工的中国 AI 芯片,阿里已转单中芯 — terryyuezhuo · 2026-11-20
- 本地推理党吐槽:196GB 内存不够玩,512GB 才起步 — AIFlow_ML · 2026-11-20
- BitDecoding-FP4:原生 FP4 KV 缓存解码,精度不输 BF16 — kalyan_kpl · 2026-11-20
- 解码更快不等于 agent 先跑完:prefill 速度决定胜负 — AIFlow_ML · 2026-11-20