LMSYS 推出 Miles 训练栈：原生支持 Blackwell 8-bit 与 4-bit RL
BanghuaZ · x · 2026-07-30
LMSYS 发布博客介绍了 Miles 训练框架中两项针对英伟达 Blackwell 架构优化的低精度强化学习（RL）方案，并与 @humansand 及 @nvidia 合作开源。
主要技术亮点包括：
- 在 rollout、前向和反向 GEMM 中实现端到端 MXFP8。
- 针对 MoE 模型实现硬件原生的 NVFP4 W4A4 RL。
- 训练与 rollout 间采用位精确量化器，减少不匹配。
- 提供细粒度的跨栈逐层精度控制。
在 Qwen3-30B-A3B 模型上，5 种低精度配置均能紧密追踪 BF16 的奖励曲线，同时显著减少 rollout 时间。
「Infra」频道最新
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16
- Vercel Sandbox Drives 正式上线:亚秒挂载 TB 级数据 — cramforce · 2026-10-16