peano_ai 在 1000+ TPU 上对 310B 模型跑通全参数 RL 训练
simonguozirui · x · 2026-09-22
peanoai 宣布在 TPU 上实现了全参数强化学习训练:包括 310B 规模的 MiMo-V2.6,以及多个在 1000+ TPU 上稳定训练 1000+ 步的运行。
技术要点:
- 基于 JAX,扩大规模只需改配置而无需重写代码
- 使用优化的 vLLM 推理加速 rollout 采样
- 训练器与采样器在验证中实现完全逐位一致(bitwise agreement)
- 两者共享同一 TPU ICI 互联网络,310B 全部参数传输耗时不到 2 秒
展示了 TPU 生态在超大规模 RL 训练上可行的工程路径。
所属事件:小米 MiMo-V2.6 发布：1000+ TPU 上押注 RL 扩展(10 条相关)→
「Infra」频道最新
- DeepSeek V4.1 Flash 单卡 3090 跑出 20 tok/s，官方推理栈开源加持 — casper_hansen_ · 2026-11-12
- 微软 SC26 将揭秘 Maia 加速器:日服务数万亿 token 的数据流设计 — thoefler · 2026-11-12
- ClickHouse 收购 Xata 并发布 Managed Postgres,客户超 5000 家 — CShorten30 · 2026-11-12
- Ben Shapiro 公开推荐《The Nvidia Way》,作者直呼没想到 — firstadopter · 2026-11-12
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12