14台Mac完成RL后训练
erfan_mhi · reddit · 2026-07-16
Pluralis Research 发布了一次分布式 RL post-training 实验：14 台分布在 4 个国家的消费级 Mac 负责生成 rollout，另一台位于别处的 B200 负责 bf16 梯度更新。
关键做法
- rollout 全部通过普通家庭网络连接，不依赖数据中心互联；其中一台还是作者自己的 MacBook。
- rollout 阶段使用 MLX + int8 推理。
- 为了降低跨版本不同步带来的偏差，团队设计了两套机制：
- PULSE：传输的是 int8 权重增量，不是完整 checkpoint；典型传输量从 9GB 降到约 82MB。
- DPPO-style probability gate：过滤掉约 0.3% 与训练端分布漂移过大的 token。
结果
他们在 PaperSearchQA 这个多轮生物医学检索任务上测试 Stoa：
- cover pass@1 从 29% 提升到 63%
- search rate 从 22% 提升到 84%
结论与后续
作者强调，这说明消费者硬件也能承担大头 rollout 成本；如果把这套 Stoa 和此前在数百台消费 GPU 上做预训练的 Agora 结合，可能把更大规模的推理与训练进一步搬到用户自有硬件上。
所属事件:Pluralis用14台消费级Mac完成RL后训练(2 条相关)→
「Infra」频道最新
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
- 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11