5090+64GB 内存实测 Qwen 3.8 Flash NVFP4:换 Linux 后 prefill 提升至 9K
Rozzemak · reddit · 2026-11-02
Reddit 用户 Rozzemak 分享了在 RTX 5090(32GB 显存)+ 64GB 内存上本地跑 Qwen 3.8 Flash Next NVFP4(Basalt 格式)的详细实测:
- 弃 Windows 换 CachyOS 是关键:Windows 11 常驻占用约 1.5GB 显存和 6GB 内存,导致专家权重溢出到内存、CPU 被打爆,decode/prefill 掉 70%;换 Linux 后 prefill 达 9K tps,decode 约 200 tps,256K 上下文。
- 质量表现:他认为 QFN 3.8 在多数任务上优于 dense 27B,尚未遇到做不到的事;相比 ninfer 和 dense 27B,prefill 提速 2-3 倍。
- 工作流细节:还塞进了 vision adapter,并在另一台机器上用小模型跑 OCR/视觉作为 sidecar;本地搭配 oh-my-openagent(pi harness 的增强封装)使用。
- 他判断 27B dense → 125BA6 MoE 是质量与速度的最佳跳档,期待 Qwen 4 系列,并询问 2×5060/5070 等配置的表现。
「编程与Agent」频道最新
- 开发者用 Claude 搭视频管线,自动生成量子计算讲解视频 — AIandDesign · 2026-11-02
- 回应 Sam Altman:玩家用游戏显卡让 DeepSeek V4.1 会话启动快 20 倍 — HearMeOut-13 · 2026-11-02
- Anthropic 设计负责人:日常工作已可完全交给智能体,不再依赖笔记本 — davidhoang · 2026-11-02
- 开源工具 Sketchy:让 Claude 在聊天里画出手绘风格交互式示意图 — Nkgsporty · 2026-11-02
- 前 Unity 高级工程师自研 Kaigen 3D 引擎,浏览器跑出惊人性能 — gdechichi · 2026-11-02
- GSM1k 复测揭基准污染:部分模型掉 8 分,企业 Agent 应在真实数据上评测 — krishnan · 2026-11-02