12GB 显存笔记本跑 Qwen3.8:Strata 引擎 51t/s,预填充 1500t/s
MLDataScientist · reddit · 2026-09-30
用户实测新推理引擎 Strata,在 12GB 显存笔记本(5070ti 12GB + 64GB DDR5)上跑 ISTA-DASLab 的 Qwen3.8 Flash Next GGUF 量化版,速度远超 llama.cpp:
- 生成速度:43k 上下文深度下达 51 t/s,同量化下原版 llama.cpp 只有 23 t/s;整体测得 50 t/s TG / 1500 t/s PP。
- 预填充:32k 上下文读取达 1500 t/s,原版 llama.cpp 同量化仅约 100 t/s,差距 15 倍。
- 显存占用:约 11GB VRAM + 56GB RAM(含系统),量化版可在 8bit 下加载至 200k 上下文,作者用到 131k。
限制:引擎目前专为这一款模型打造,只有 ISTA-DASLab 的部分 GGUF 可用;官方称其 IQ3S 量化可在编码基准上恢复全量模型性能,作者实测 IQ3XXS 质量也不错。仅支持 NVIDIA,AMD 支持为实验性;早期 kv cache bug 已被开发者修复。作者感叹 12GB 显存笔记本如今能本地跑半年前的旗舰模型。
「Infra」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16