蚂蚁 Ling 团队详解 290B 模型低成本训练:修损失函数省大量算力

aftahi_ai · x · 2026-11-17

蚂蚁集团 Ling 团队分享不依赖大量昂贵 GPU 训练 290B 参数模型的思路:更优的架构设计、硬件优化与训练策略。配图对比了不同损失处理方式(直接使用、修 micro batch-size、修 NormHead、修 NormHead 梯度、正确损失)的 lm loss 曲线,显示修正损失函数后训练损失显著更低更稳定,说明大规模训练可以便宜得多。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →