蚂蚁百灵开源 Ling-3.0 Base 模型,开放预训练权重

智东西 · wechat · 2026-08-20

蚂蚁百灵开源了 Ling-3.0-tiny-base (7.9B) 和 Ling-3.0-flash-base (124B) 两款 Base 模型,并同步开放了预训练、中期训练及 WSM 合并阶段的共 6 个 checkpoints。Tiny 版本激活参数 1.3B,适合代码训练和强化学习研究;Flash 版本激活参数 5.1B,主打代码、长上下文与复杂推理。模型采用 WSM(Warmup-Stable-Merge)学习率方案,通过 checkpoint 加权合并替代传统衰减,更适合持续预训练。

所属事件:蚂蚁百灵开源 Ling-3.0 基础模型全部训练阶段检查点(4 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →