14台Mac完成RL后训练
erfan_mhi · reddit · 2026-07-16
Pluralis Research 发布了一次分布式 RL post-training 实验：**14 台分布在 4 个国家的消费级 Mac** 负责生成 rollout，另一台位于别处的 **B200** 负责 bf16 梯度更新。 ### 关键做法 - rollout 全部通过普通家庭网络连接，不依赖数据中心互联；其中一台还是作者自己的 MacBook。 - rollout 阶段使用 **MLX + int8 推理**。 - 为了降低跨版本不同步带来的偏差，团队设计了两套机制： - **PULSE**：传输的是 int8 权重增量，不是完整 checkpoint；典型传输量从 9GB 降到约 82MB。 - **DPPO-style probability gate**：过滤掉约 0.3% 与训练端分布漂移过大的 token。 ### 结果 他们在 **PaperSearchQA** 这个多轮生物医学检索任务上测试 Stoa： - cover pass@1 从 **29% 提升到 63%** - search rate 从 **22% 提升到 84%** ### 结论与后续 作者强调，这说明消费者硬件也能承担大头 rollout 成本；如果把这套 Stoa 和此前在数百台消费 GPU 上做预训练的 Agora 结合，可能把更大规模的推理与训练进一步搬到用户自有硬件上。