16GB 显存跑 Qwen3.8 Flash IQ3_S：生成 250 tok/s、预处理 5600 tok/s
yehyakar · reddit · 2026-10-25
Reddit 用户 yehyakar 公布在 Strata/Basalt 引擎上本地运行 Qwen3.8-Flash-Next IQ3S 量化版的实测：RTX 5080（16GB VRAM）+ Core Ultra 9 285K + 62GB DDR5-6800，262K 上下文、int8 KV cache。
- Agent 编码会话（opencode，103 次请求，上下文最高 130K）：prompt 处理均值约 5,011 tok/s、生成均值 153 tok/s（峰值 262 tok/s），VRAM 占用 15.7GB。
- 上下文扫描（15K–207K 新 prompt）：prompt 处理峰值 5,662 tok/s，生成均值约 155 tok/s。
- 99.5% 的 prompt token 命中 prompt cache，首 token 中位延迟仅 0.2s。
结论是 16GB 显存 + 大内存的混合配置已能流畅支撑长上下文本地 agent 编码，附完整数据表可复现。
「Infra」频道最新
- NextDC 一天暴跌 40%：真正的瓶颈是电网，不是合同 — ccerrato147 · 2026-10-25
- Neocloud 本质是数据中心抵押贷款：租金在后，利息在前 — ccerrato147 · 2026-10-25
- 韩国 Elice IPO 首日暴跌 32%，超额认购 400 倍也救不了 — ccerrato147 · 2026-10-25
- 单张 AMD MI325X 跑 DeepSeek 552B：四 agent 同时 100 tok/s — realmrfakename · 2026-10-25
- AI 的社会许可写在电价里：预测错了该谁买单？ — krishnan · 2026-10-25
- Amazon ATTUNE 编码 agent 自动调优训练配方,H100 平均提效 1.7 倍 — kalyan_kpl · 2026-10-25