双 5060 Ti 本地跑大模型实操：Gen4 直连 CPU 可让 prefill 提速三倍
chocofoxy · reddit · 2026-11-06
作者分享了用两张 RTX 5060 Ti 搭建本地推理工作流的踩坑经验。
硬件要点：
- 主板需全部 Gen4 通道直连 CPU 或支持 PCIe bifurcation，仅此一项就能让 prefill 速度提升约三倍；
- 用一块独立低端 GPU 负责显示输出，否则 5060 Ti 被显示占用 2-3GB 显存，且因层均分导致另一张卡同样损失显存、上下文分配不均。
模型与性能：
- Blackwell 卡建议用 NVFP4 量化，prefill 与 decode 都更快；
- 用自选的 capy-flash（原 ninfer-tp2）+ OpenCode，在 170K 上下文下达到 70-120 t/s decode、2200 t/s prefill；理想 Gen4 环境下预计 prefill 可达 3000 t/s；
- 开启 P2P 仅带来约 5% 提升（5060 Ti 只有约 4K CUDA cores，收益甚微）。
Harness 选择：作者认为 harness 影响不大，但 OpenCode 的 compaction 解决了其他工具长任务中「context limit reached」报错，可连续运行近 3 天。
「Infra」频道最新
- Clairvoyance 0.90 发布：本机跑模型+Hivemind 共享 GPU，多 Agent 组队协作 — draginol · 2026-11-06
- 黄仁勋与马斯克九年同框:从 2016 交机到 2025 星载超算 — XFreeze · 2026-11-06
- 特斯拉上海工厂本地化率达98%，年产能约百万辆 — XFreeze · 2026-11-06
- Coolify 4.7 将内置漏洞扫描器：SBOM 扫描镜像并给一键修复方案 — tristanbob · 2026-11-06
- 在 Galaxy S25 Ultra 上纯本地跑 Stable Diffusion 与 ControlNet — carrycooldude · 2026-11-06
- B300 每小时赚 8 美元:数据中心谈判筹码与每 GW 1 亿美元社区分成 — Exponential View (Azeem Azhar) · 2026-11-06