蚂蚁 Ling 团队详解 290B 模型低成本训练:修损失函数省大量算力
aftahi_ai · x · 2026-11-17
蚂蚁集团 Ling 团队分享不依赖大量昂贵 GPU 训练 290B 参数模型的思路:更优的架构设计、硬件优化与训练策略。配图对比了不同损失处理方式(直接使用、修 micro batch-size、修 NormHead、修 NormHead 梯度、正确损失)的 lm loss 曲线,显示修正损失函数后训练损失显著更低更稳定,说明大规模训练可以便宜得多。
「Infra」频道最新
- 腾讯 DSpine 推测解码上线:27B 模型提速至 4.5 倍、90-125 tok/s — pmttyji · 2026-11-17
- 直言算力不缺:千卡 GPU 全靠短期合同入手,六成是 B300 — SumitGup · 2026-11-17
- 开源项目 Agent Substrate 让空闲 Agent 挂起唤醒,同硬件跑 10 倍 Agent — Saboo_Shubham_ · 2026-11-17
- OpenAI 代理记忆系统省钱三招:缓存 TTL、Flex 减半、少调用 — gabrielchua · 2026-11-17
- xAI 再扩孟菲斯算力版图:关联公司 550 万美元购入 96 英亩土地 — XFreeze · 2026-11-17
- 汇丰以大幅折价甩卖 3 亿美元问题 AI 数据中心贷款 — MarcoFigueroa · 2026-11-17