Unsloth 让 Qwen3.8-Flash 本地提速 1.7 倍,RTX PRO 6000 达 170 tokens/s
danielhanchen · x · 2026-09-02
Unsloth 发布 Qwen3.8-Flash 本地运行方案:这个 125B MoE 模型通过 MTP(Multi-Token Prediction)可实现约 1.3–1.7 倍推理加速且精度不变,GGUF 量化后在 RTX PRO 6000 上可达 170 tokens/s。引用推文称其性能超过 Claude Opus 4.6 (Max),75GB 内存即可通过 Unsloth GGUF 跑起来;Qwen3.8-Flash-Next 还支持用 CPU 内存/统一内存达到接近显存的速度。已附 GGUF 下载与部署指南链接。
所属事件:Qwen3.8-Flash 引入 MTP 多 token 预测，本地推理提速 1.7 倍(2 条相关)→
「Infra」频道最新
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 越狱 PS5 跑 llama.cpp:开源 PS5LM 让主机变身家庭本地 LLM 服务器 — wateriscoding · 2026-10-18
- DFB 激光器耦合薄膜铌酸锂芯片：最高 170mW、阈值仅 40-45mA — jwt0625 · 2026-10-18
- 5070 Ti 外挂 3070 混搭跑 Qwen 35B 达 82 tok/s — hereforcheesee · 2026-10-18
- 中国在建/规划功率半导体晶圆厂达 69 座,遍布 58 家厂商 — zephyr_z9 · 2026-10-18
- 研究测算：AI 数据中心每年需 3.5 万亿美元收入才能撑住 — TheseFact · 2026-10-18