16GB 显存跑 176B MoE:TensorSharp 实测胜过 Strata
fuzhongkai · reddit · 2026-10-04
作者在 RTX 3080 笔记本(16GB 显存)+ 32GB 内存 + SSD 上跑通了 Qwen3.8 Flash Next 176B MoE 模型,用的是其开源推理引擎 TensorSharp。
核心思路不是把 SSD 当最后兜底的交换空间,而是量化 + 围绕 MoE 执行的分层统一调度:让缓存、显存、内存、SSD 各层协同,把合适的专家权重在合适时机放在合适的层级。
与 Strata 的对比测试:
- 解码速度:TensorSharp 11.09 tok/s(9.22–14.02)vs Strata 10.24 tok/s
- 全程耗时:16.54s vs 62.15s
- GPU 峰值:14,832 MiB vs 15,729 MiB
- 系统内存峰值:19.74 GiB vs 18.51 GiB
作者结论:对超大稀疏 MoE 模型,关键问题不再是「内存够不够装下模型」,而是「运行时协调显存/内存/SSD/缓存的效率有多高」——配合好量化与内存层级,消费级硬件也能做离谱的事。作者还征集 llama.cpp、Strata 等其他方案在同款硬件上的对比数据。
所属事件:TensorSharp 在 16GB 显存笔记本跑通 176B MoE 模型(2 条相关)→
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19