OpenBMB 开源 MiniCPM5-2B 背后 RL 训练栈 Meshy 与 JustRL II
jiqizhixin · x · 2026-09-09
OpenBMB 在开源 MiniCPM5-2B 后，进一步开源了其背后的 RL 训练栈，包含两个组件：
- Meshy：服务化 RL 训练框架，将推理、rollout、训练解耦为独立服务，通过统一的 TransferQueue 数据平面通信；控制流由数据可用性驱动，拓扑由声明式 recipe 在本地推导。基于 SGLang + TorchTitan 构建，原生支持 on-policy、有界 off-policy 与全异步 RL，提供 MiniCPM5-1B / 2.6B 的现成 recipe（含 128K 上下文并行训练）。
- JustRL II：引入基于 critic 的方法，对长推理链做更精细的 token 级 credit assignment，使小模型的长程 RL 训练更稳定。
两者合起来即 MiniCPM5-2B 的完整 RL 训练方案，代码与博客均已公开。
「研究」频道最新
- 把 9 小时训练任务塞进一次权重更新:自训模型改为每周日迭代 — cephaloform · 2026-09-09
- 预注册研究:写作能力与 CS 功底都能预测 vibe coding 水平 — dair_ai · 2026-09-09
- AI 玩高等数学还陷入学术优先权之争,网友:RL 学术界学过头了 — anshulkundaje · 2026-09-09
- 开发者用 Claude 可视化 OpenAI 的欧拉方程有限时间爆破构造 — CatAstro_Piyush · 2026-09-09
- SimpleMemVLA:用完整视频历史喂VLM实现长程机械臂操作 — openbmb · 2026-09-09
- Elicit 建模估计:住室内外平均折寿约 2 年 — elicitorg · 2026-09-09