旧双卡 48GB 与 32GB 显卡跑 30B 模型引热议

Reddit 用户在两块老旧 Maxwell 架构 Quadro M6000（共 48GB VRAM、32GB 内存）上运行 Strata 推理引擎，以 3.5bit 量化实现 34.5 tok/s 的解码速度。同时有作者回应「30B 参数模型怎么跑在 32GB 显卡上」的质疑，解释这依赖量化（quantization）与投机解码（speculative decoding）两项关键技术。

2026-10-20 ~ 2026-10-21 · 2 条相关

• 双 Quadro M6000 共 48GB 跑 Strata 推理引擎,解码 34.5 tok/s — jmuff98 · 2026-10-20
• 30B 模型塞进 32GB 显卡：量化与投机解码如何做到 — TimDarcet · 2026-10-21