prime-rl 0.11.0 发布:训练提速最高 1.5 倍,新增预训练入口
samsja19 · x · 2026-11-22
Prime Intellect 团队发布强化学习训练框架 prime-rl 0.11.0,包含 285 个提交、25 位贡献者,注意有 breaking changes。
- 新预训练入口:uv run pretrain 可从零在 datatrove token shards 上训练模型,支持加权数据源混合、按文档验证与精确断点续训
- Mega MoE:融合式专家并行 dispatcher,把 EP 通信与专家 GEMM 重叠执行,可选最少负载专家再平衡;复现 DeepSeek-V4-Flash SFT 时 MoE 层达 391k tokens/s/GPU(MFU 35.8%),再平衡带来最高 1.67× 几何均值加速
- 编译与 EP 优化:EP MoE 默认可编译,Qwen3-30B-A3B 每步从 1.067s 降至 0.703s(1.52×);RL trainer warmup 默认开启,冷启动 DeepSeek-V4-Flash RL 的首步 forward+backward 从 637s 降至 61s
- 内存优化:异步 checkpoint(20GB 存盘约 2-5s)、激活 offload 开销降 70-75%、优化器 offload 成为默认
- PD 双向 KV 传输、env worker pools(峰值编排器内存从 85.3GB 降至 17.5GB)
- 新增支持 GLM-5.3 Flash、Qwen3.8 Flash Next 等模型
作者还观察到 agent 正大幅加速开发,Opus 5.5 发布后代码 slop 明显减少。
「编程与Agent」频道最新
- 开发者用 Gemini 调 Depth Pro 2 权重,开源免费 PBR 材质生成器 — joemeno · 2026-11-22
- 开源编码 Agent 控制面 T3 Code 曝已有超 50 万开发者使用 — churchkey · 2026-11-22
- 给 Agent 加验证与问责层:6 项声明自动核验后 455/455 测试全过 — jasonkneen · 2026-11-22
- 吐槽 AI 操作电脑:截图传云端算光标,宛如九触手驾驶桶 — ZeroStateReflex · 2026-11-22
- 用 [[chip]] 标签让 Gemini Neon 输出徽章式高能风格,附原理 — jasonkneen · 2026-11-22
- 开发者吐槽 Neon 智能体秒变彩虹屁:满屏『WHOAW!! AWESOME!!』 — jasonkneen · 2026-11-22