12GB 显存跑出 131k 上下文:Qwen3.8 Flash IQ3_S 量化方案实测
bodhi371 · reddit · 2026-10-17
Reddit 用户 bodhi371 分享了一个极限本地部署配方:把 Qwen3.8-Flash-Next-GSQ-RCO-Abliterated 以 IQ3S 量化跑在仅 12GB 显存 + 32GB 内存 + NVMe 的配置上。
- 成绩:131k 上下文(44k 思考预算)下 decode 40-50 tok/s,prefill 1300-1500 tok/s
- 实现:基于 Strata 的自建 fork,含大量实验性架构改动
- 评价:作者称「某些方面有本地版 Opus 的感觉」
配方和 Strata fork 都已开源在 GitHub,供本地 AI 玩家复现。
「Infra」频道最新
- AI 建设的钱荒来了：CoreWeave 暴跌 15.5%，TSMC 仍创纪录 — pdamodaran · 2026-10-17
- 旧金山签署数据中心暂停令,Kwok 质疑「我们在干嘛」 — kevinakwok · 2026-10-17
- vLLM 原班人马创业做 Inferact：可控的高性价比推理平台 — Xianbao_QIAN · 2026-10-17
- 8 卡 AMD MI355X 跑 Kimi K3 吞吐超 B300 24.4%，每美元 token 多 87% — vllm_project · 2026-10-17
- Anthropic：Claude Code 首响应提速 3 倍，Claude API 快 1.5 倍 — ClaudeDevs · 2026-10-17
- 双 Mac 本地分体方案:M5 Pro 主脑 + M4 子代理跑编码 Agent — Calm-Set6265 · 2026-10-17