Qwen 3.8 Flash Next q2_0 在 6GB 显存老笔记本跑出 10 token/s
dampflokfreund · reddit · 2026-10-03
Reddit 用户 dampflokfreund 实测在 RTX 2060 笔记本(32GB 内存 + 6GB 显存)上用 Strata 引擎运行 Qwen 3.8 Flash Next q20(约 120B 参数):50K 上下文下解码速度约 10 token/s,prefill 近 100 token/s,远超预期。
- 命令:./START-HERE.bat --draft-vocab en --vram-reserve-mib 100 --kv q40
- 折衷:4-bit KV cache、无视觉能力;prefill 偏慢是主要瓶颈,处理长 prompt 仍需等待
- 对比:Qwen A35B A3B prefill 快约 5 倍,且可在不量化 KV cache 的情况下用 100K 上下文,尚不能完全替代
- 作者认为 Strata 引擎实至名归,值得期待后续优化
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19