StepFun 博客披露激活梯度裁剪：规模越大收益越高，L42 效率提升 28%
eliebakouch · x · 2026-10-16
Hugging Face 研究员 eliebakouch 指出 StepFun 与其团队同日各自发布了相似的激活梯度裁剪（activation gradient clipping）技术博客。配图显示：训练中梯度尖峰多出现在中层并逐层放大，仅裁剪每层 0.00004% 的梯度值即可显著抑制尖峰、稳定收敛；该收益随规模增长，在 L42 上 hold-out 效率相对基线提升约 28%。StepFun 还将其用作训练数据诊断工具——由被裁剪的异常样本反查出代码数据预处理流水线中 license 头被截断的 bug 并修复。
「研究」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸：10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23