双 Quadro M6000 共 48GB 跑 Strata 推理引擎,解码 34.5 tok/s
jmuff98 · reddit · 2026-10-20
Reddit 用户在两块老旧的 Maxwell 架构 Quadro M6000(共 48GB VRAM、32GB 内存)上跑 Strata 推理引擎,运行 3.5bit 量化的 Qwen3.8-Flash 模型。他手动解除了 Strata 代码中「仅支持架构 52 以上」的限制,沿用实验性 Pascal 流水线。截图显示解码 34.5 tok/s、prefill 峰值约 159 tok/s,占用 40.7GB 显存。他提示:3.5bit 的 IQ1 反而比 Q2 慢,显存够 40GB 的话直接跑 Q2 更快。
「Infra」频道最新
- NeurIPS 2026 论文 IPW：衡量本地 AI 的「每瓦智能」效率 — HazyResearch · 2026-10-20
- SpaceX 财报周遇上 13 亿股解禁：算力生意年化约 1100 亿美元 — JOBhakdi · 2026-10-20
- AI 多头叙事的经济学漏洞：算力边际成本超过用户获得收益 — SumitGup · 2026-10-20
- 开发者推出 ijah：M5 Max 本地跑 Qwen Flash-Next 的新推理引擎 — SeveralViolins · 2026-10-20
- Shadeform 推六项新功能：算力租赁模式跟不上 Agent 时代 — omarsar0 · 2026-10-20
- 推理服务商版 CAP 定理：可靠性、成本与速度三者难兼得 — AccBalanced · 2026-10-20