单卡本地跑 125B MoE:Qwen3.8 NVFP4 版 23 分钟完成 Three.js 马

Beneficial-Ad-8127 · reddit · 2026-10-13

Reddit 用户在 RTX 5090 32GB + 192GB 内存的本地环境,用 sergqwer 的 Strata fork 引擎跑自转 NVFP4 量化的 Qwen3.8-Flash-Next 125B-A6B(ablititerated,专家 4.5-bit + Q8 密集权重),挑战「horsey」题目:用 Three.js 程序化生成低多边形奔跑马并输出单 HTML 文件。

关键数据:纯 agent 工作时间 23 分 10 秒(总耗时 33 分 45 秒,扣除 25 次人工确认),87 步输出 12.4 万 token,缓存命中率 99%,解码中位 116 t/s,TTFT 中位 0.7 秒,全程零 compaction。作者还分享踩坑:第一轮测试 Qwen 留下 15+ 个 headless Chrome 窗口拖垮系统,重跑时在 prompt 里明确要求 agent 清理无用进程。附完整配置与 prompt,展示单 GPU 本地跑大模型的可行性。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →