Titan RTX 加 3090 混合双卡跑推理,值不值得上 Strata?

Express_Quail_1493 · reddit · 2026-10-15

Reddit 用户提问:手头有 Titan RTX 和 RTX 3090 两张 24GB 卡(架构不对称、无 NVLink),另有约 48GB 空闲内存。目前在单张 3090 上以 300K 上下文跑 Qwen3.8-27B 达到 32 tok/s,Titan RTX 基本闲置。他想知道用 Strata 做多 GPU 推理是否值得,是否会明显拖慢 prefill 速度,并征集实测经验。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →