用 20 美元网线就能跑 39.7GB 多节点 GPU 推理
Chuyito · reddit · 2026-07-23
这条 Reddit 分享了一个很实用的结论：多节点 GPU 推理未必需要昂贵网络。作者用一个很便宜的直连以太网方案，在 2x4060 + 1x4060 上跑起了一个 39.7GB 的 laguna Q2KXL 模型。
帖子还给出了不同 ubatch-size 下的实测时延，并总结出几个经验：
- 点对点网络能把流量限制在两台节点之间，而不是打到交换机上
- 如果不想用主机 CPU，可以用 device=rpc0/rpc1 限制 worker 侧 CPU
- 这个配置里 ubatch=768 是甜点位，吞吐和提示处理速度之间更平衡
「编程与Agent」频道最新
- Loom 的 AI 构建 Mac 应用在回复中再次被提起 — davidhoang · 2026-07-23
- Loom 说新 Mac 应用由 AI 辅助原型并用 Swift 构建 — davidhoang · 2026-07-23
- Claude 把团队名说成元数据，还一本正经谈无冲突路由 — draginol · 2026-07-23
- 开发者反思：Agent 越自主越不可信，权限应落在具体操作前 — Deep_Ad1959 · 2026-07-23
- Claude 结合 Chromium 和 Playwright MCP 可自动录演示视频 — yenkel · 2026-07-23
- 作者称用 Claude Design 配合 Claude Code 做前端很顺手 — trq212 · 2026-07-23