Baseten 案例揭秘:Mirendil 用 40 秒权重同步跑前沿 RL,吞吐提升 1.9 倍
baseten · x · 2026-11-03
推理平台 Baseten 发布与前 Anthropic 研究员 Behnam Neyshabur、Harsh Mehta 创办的实验室 Mirendil 的合作案例。Mirendil 于今年 6 月以 2 亿美元种子轮启动,目标是构建自我加速的 AI 研发系统,在数千张 GPU 上大规模运行前沿模型 RL 训练。
关键技术细节:
- Rollout 是瓶颈:rollout 集群的 GPU 用量可达训练端的 2-5 倍,权重切换时容易拖垮吞吐
- 架构:Mirendil 自研 trainer 在自有环境运行,将 checkpoint 与紧凑权重增量写入对象存储;Baseten 监听该流,重建每个新策略并应用到采样集群
- 效果:全局集群间权重增量同步约 40 秒内完成,采样优化带来 1.9 倍吞吐提升;同步时吞吐短暂降至中位数约 90%,约 1 分钟恢复
「Infra」频道最新
- 算力难成大宗商品市场：任务需同类芯片与网络，可互换性存疑 — toptickcrypto · 2026-11-03
- 去中心化推理网络 Engy 比 CoreWeave 便宜最高 89% — markjeffrey · 2026-11-03
- Prefrontal 开源 LSA 稀疏注意力：10M token prefill 提速最高 72.4 倍 — jcrwhittington · 2026-11-03
- 实测 DeepSeek-V4.1-Flash 推理吞吐：4 卡 RTX PRO 6000 三套基准横评 — TheZachMueller · 2026-11-03
- 免费 iOS 应用 My Local AI：MLX 端侧跑模型，无需账号保护隐私 — TheOyinbooke · 2026-11-03
- GTX 1650 跑 LLM 基准：GPU 过热致吞吐量暴跌 31% — the-random-guy-2002 · 2026-11-03