PCIe switch 能否优化 GPU+RAM+NVMe 混合推理配置
HankYeomans · x · 2026-10-25
HankYeomans 进一步询问 PCIe switch 是否适用于他的混合推理方案:DeepSeek 4.1 flash 配合 GPU+CPU/RAM+NVMe 的分层加载。
原线程结论:只要存在向内存 offload 的环节,单插槽多卡的前提条件(不 offload、启用 P2P)就不满足,该方案可能不适用此类混合配置。
所属事件:用 PCIe switch 单插槽多卡跑推理引热议(3 条相关)→
「Infra」频道最新
- 305M 激活参数小模型离线操控电脑：断网订日历只要 0.26 秒 — lmoroney · 2026-10-25
- SGLang 回应对比争议：重跑后 prefill 性能持平或超越 DeepInfer — hsu_byron · 2026-10-25
- 曝 Anthropic 洽谈 450 亿美元算力协议，西弗吉尼亚新增 460MW Rubin 容量 — Beth_Kindig · 2026-10-25
- DIY GPU 集群翻车实录：PCIe 重定时器会让你「着火」 — giffmana · 2026-10-25
- GPT-6.1 Sol 性价比登顶，作者称 Opus 5.5 仍会掉逻辑陷阱 — haider1 · 2026-10-25
- DeepSeek V4.1 Flash 去审查版 GGUF 冲上 Hugging Face 热榜 — orcarouter · 2026-10-25