Titan RTX 加 3090 混合双卡跑推理,值不值得上 Strata?
Express_Quail_1493 · reddit · 2026-10-15
Reddit 用户提问:手头有 Titan RTX 和 RTX 3090 两张 24GB 卡(架构不对称、无 NVLink),另有约 48GB 空闲内存。目前在单张 3090 上以 300K 上下文跑 Qwen3.8-27B 达到 32 tok/s,Titan RTX 基本闲置。他想知道用 Strata 做多 GPU 推理是否值得,是否会明显拖慢 prefill 速度,并征集实测经验。
「Infra」频道最新
- patio11 初试多智能体开发:明确是未来,推理量将暴涨 — IgorCarron · 2026-10-15
- Hugging Face Hub 模型张量检查提速最高 20 倍,DeepSeek-V3.2 从 9.2 秒到 0.45 秒 — victormustar · 2026-10-15
- 日本 RTX 5060 Ti 16GB 价格飙 144% 至 $1292,黑五恐难有折扣 — chemist_slime · 2026-10-15
- Fish Audio Drama 3 登陆 vLLM:35B 语音模型单卡 H200 跑 128 路并发 — vllm_project · 2026-10-15
- 1174 台 Mac 组网跑开源模型:Darkbloom 60 天增 4.5 倍,成本砍半 — gajesh · 2026-10-15
- 曝字节跳动洽购联发科定制 AI 芯片,效仿谷歌自研路线 — mark_k · 2026-10-15