双 5060Ti 跑 27B 模型，PCIe 带宽成推理瓶颈？
Ok-Conflict391 · reddit · 2026-08-21
用户在双 RTX 5060Ti 上运行 3.8 版本的 27B 参数模型（Q6 量化），获得了约 40-50 tps 的速度。通过 HWinfo 监测发现，PCIe 5x16 和 PCIe 4x4 插槽在推理期间均已满载，怀疑第二条 x4 带宽的插槽限制了性能，正考虑将显卡转接到 PCIe 5x4 的 NVMe 插槽。
「Infra」频道最新
- M 系列 Mac 运行 Firecracker 的嵌套虚拟化实践 — dejavucoder · 2026-08-21
- MLX-LM 维护者谈项目聚焦与生态治理 — andrejusb · 2026-08-21
- GCC/Clang 在 O2 优化下遗留 64 位除法Bug — tetsuoai · 2026-08-21
- AI抢走DRAM产能：DDR5内存一年涨500%，价格倒退回2007年 — 量子位 · 2026-08-21
- 用 AI 搞定多机配置，类 Nix 方案实测 — samgoodwin89 · 2026-08-21
- 博通拟筹资千亿美金布局 AI 基建，行业杠杆风险隐现 — Pablomiller · 2026-08-21