FP8 统一用于训练与推理解码，RL 端到端提速 16%
joecole · x · 2026-07-30
NVIDIA、MIT 等机构联合发布的新论文 Jet-RL 深入研究了在大语言模型（LLM）的强化学习（RL）训练中使用 FP8 量化的稳定性问题。
- 传统痛点：RL 训练中，推理解码阶段通常占用 70% 以上的时间。此前常见的做法是训练用 BF16、推理解码用 FP8，但这会导致严重的数值不匹配，引发训练不稳定甚至精度崩溃。
- Jet-RL 方案：提出在训练和推理解码阶段统一采用 FP8 精度流，从而最小化数值差异，避免了低效的跨步骤校准。
- 性能提升：实验表明，该方法在推理解码阶段实现了最高 33% 的加速，训练阶段加速达 41%，端到端整体提速 16%，同时保持了稳健的模型精度。
「Infra」频道最新
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16
- 黄仁勋预告 GTC 柏林再签约 20 亿美元,欧洲 AI 投入将达约 100 亿美元 — CurieuxExplorer · 2026-10-16
- Martin Fowler 刊文:让数据为 Agentic AI 就绪,先修信任再谈语义 — bibryam · 2026-10-16