RL-Kernel 让训练与推理 LogP 比特级一致，200 步零偏差
青稞AI · wechat · 2026-10-18
RL 后训练的隐性数值陷阱
大模型 RL 训练中，Rollout 与 Training 常由两套引擎执行：训练为反向传播、序列打包、多卡并行优化，推理为 prefill/decode、动态批处理、PagedKV 优化。即使模型权重和 token 完全相同，浮点归约顺序、并行分片、精度转换边界的差异也会让两边 LogP 对不上（文中举例：0.1+0.2+0.3 与 0.3+0.1+0.2 在有限精度下结果可能不同）。
在 PPO/GRPO 中，importance ratio 直接用 rollout 端与训练端的 logprob 相乘计算，偏差非零时相当于叠加了一层数值意义上的策略偏移，并沿 KL 诊断与 clipping 传播，表现为训练越久越不稳定。
RL-Kernel + vLLM 的解决方案
- vime 负责对齐"时间线"：token batch 与权重版本的对应、新权重何时同步给 vLLM；
- RL-Kernel 负责对齐"数值执行"：归约域切分、部分结果合并顺序、中间精度与舍入时机，让两引擎遵循同一份"数值执行契约"。工程上包括逐项对齐 Attention/FFN/logprob/通信路径，在 ROCm 上新增确定性 MFMA GEMM kernel、vocabulary reduction、HIP IPC 通信等。
实测结果
在 AMD Instinct MI300X 上跑 8 卡 Qwen3-8B GRPO 端到端实验，连续 200 步 mismatchcount=0、maxabsdiff=0，训推 logprob 全程比特级一致。
青稞社区将于 10 月 20 日晚 8 点邀请 RL-Kernel 核心成员、西安交大硕士生李佳杰做分享，内容涵盖训推差异定位、数值契约对齐、固定 replay 与逐层比对的验证流程，以及 PD 跨机分离与异步 RL 场景下的一致性边界。
「Infra」频道最新
- 越狱 PS5 跑 llama.cpp:开源 PS5LM 让主机变身家庭本地 LLM 服务器 — wateriscoding · 2026-10-18
- DFB 激光器耦合薄膜铌酸锂芯片：最高 170mW、阈值仅 40-45mA — jwt0625 · 2026-10-18
- 5070 Ti 外挂 3070 混搭跑 Qwen 35B 达 82 tok/s — hereforcheesee · 2026-10-18
- 中国在建/规划功率半导体晶圆厂达 69 座,遍布 58 家厂商 — zephyr_z9 · 2026-10-18
- 研究测算：AI 数据中心每年需 3.5 万亿美元收入才能撑住 — TheseFact · 2026-10-18
- SGLang Summit 赞助商一周从 11 家增至 36 家,嘉宾含 Lilian Weng — BanghuaZ · 2026-10-18