千元主机跑 Qwen Flash Next:256GB 内存换来质量跃升但只剩 12tps
Positive-Stock6444 · reddit · 2026-08-30
Reddit 用户分享了在 2018 款 ThinkStation P520(Xeon W-2145、256GB DDR4 四通道、12GB 3060,总投入约 1000 欧元)上本地运行 Qwen 模型的实测对比。
Qwen3.6 35B A3B Q4KM(原日常主力):常驻内存约 20GB,prefill 约 400tps,生成 30-50tps,128k 上下文,且对机器上其他任务很宽容。
Qwen3.8 Flash Next UD-Q4KXL:常驻内存约 110GB,prefill 约 200tps,生成仅 12-15tps,上下文 65k——但输出质量「与 35B 是黑夜与白天的差别」。
关键发现:
- Flash Next 对内存争用极度敏感,机器上哪怕只跑 opencode 速度也会掉到 3-5tps,基本只能从另一台机器远程调用
- 合成随机内容的基准测试给出完全错误的性能结论,测 MoE 模型必须用真实上下文
- 文中附上两套完整 llama-server 启动命令,含 GPU 层数、CPU MoE 分配、量化 KV cache、MTP投机解码等全部参数,Flash Next 开放无限思考以保证质量
所属事件:发烧友实测本地跑 Qwen Flash Next：内存换质量但速度堪忧(2 条相关)→
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16