14台Mac完成RL后训练
erfan_mhi · reddit · 2026-07-16
Pluralis Research 发布了一次分布式 RL post-training 实验：14 台分布在 4 个国家的消费级 Mac 负责生成 rollout，另一台位于别处的 B200 负责 bf16 梯度更新。
关键做法
- rollout 全部通过普通家庭网络连接，不依赖数据中心互联；其中一台还是作者自己的 MacBook。
- rollout 阶段使用 MLX + int8 推理。
- 为了降低跨版本不同步带来的偏差，团队设计了两套机制：
- PULSE：传输的是 int8 权重增量，不是完整 checkpoint；典型传输量从 9GB 降到约 82MB。
- DPPO-style probability gate：过滤掉约 0.3% 与训练端分布漂移过大的 token。
结果
他们在 PaperSearchQA 这个多轮生物医学检索任务上测试 Stoa：
- cover pass@1 从 29% 提升到 63%
- search rate 从 22% 提升到 84%
结论与后续
作者强调，这说明消费者硬件也能承担大头 rollout 成本；如果把这套 Stoa 和此前在数百台消费 GPU 上做预训练的 Agora 结合，可能把更大规模的推理与训练进一步搬到用户自有硬件上。
所属事件:Pluralis用14台消费级Mac完成RL后训练(2 条相关)→
「Infra」频道最新
- Galaxy S26 纯端侧跑 MiniMax H3：7 分钟生成 5 秒带音频视频 — BidFunny4862 · 2026-10-27
- Unconventional AI 收购 NeuReality,冲刺算力效率提升 1000 倍 — NaveenGRao · 2026-10-27
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27
- RTX 5090 卖到 7000 美元，PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27