字节 Seed 提出校准裁剪法，攻克全流程 FP8 强化学习训练不稳
ByteDance-Seed · hf · 2026-09-23
字节跳动 Seed 团队发布研究，系统解决 LLM 强化学习全流程 FP8 量化的稳定性问题。
- 问题：此前工作多用 TIS 等修正手段解决训练-推理不匹配，但全流程 FP8 RL 仍会出现训练中期熵异常激增和输出乱码。
- 根因：FP8 量化噪声叠加会扭曲重要性比率，把负优势 token 过度推出信任域，导致其梯度被错误置零，病态输出得不到惩罚并随训练累积。
- 方法：提出 Calibrated Clipping（校准裁剪），通过匹配下界裁剪分位数并重新平衡上界，使 FP8 裁剪边界对齐 BF16 高精度分布。
- 验证：在 GRPO、DAPO 算法、8B-32B 模型规模及多种 FP8 缩放粒度上实验，消除了熵激增，性能恢复到 BF16 基线水平。
「Infra」频道最新
- 微软 SC26 将揭秘 Maia 加速器:日服务数万亿 token 的数据流设计 — thoefler · 2026-11-12
- ClickHouse 收购 Xata 并发布 Managed Postgres,客户超 5000 家 — CShorten30 · 2026-11-12
- Ben Shapiro 公开推荐《The Nvidia Way》,作者直呼没想到 — firstadopter · 2026-11-12
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- CoRL 会场同址开天然气论坛,主题直指 AI 数据中心供电 — carlosdponx · 2026-11-12