百度AdaGC优化消除LLM训练损失尖峰，入选ICML 2026
BaiduResearch · x · 2026-07-07
百度研究院提出AdaGC梯度优化方法，在ERNIE 10B-A1.4B模型预训练中成功消除反复出现的损失尖峰，同时提升准确率并节省GPU计算时间。该工作已被ICML 2026收录。
BaiduResearch · x · 2026-07-07
百度研究院提出AdaGC梯度优化方法，在ERNIE 10B-A1.4B模型预训练中成功消除反复出现的损失尖峰，同时提升准确率并节省GPU计算时间。该工作已被ICML 2026收录。