蚂蚁百灵开源 Ling-3.0 全阶段基础模型检查点
蚂蚁百灵(InclusionAI)于 8 月 19 日前后在 Hugging Face 开源 Ling-3.0 系列基础模型,提供 tiny 与 flash 两种尺寸各三个训练阶段的共 6 个检查点,全部以 MIT 协议发布,为社区继续训练与研究提供完整起点。
已确认
- 开源对象为 Ling-3.0-tiny-base(7.9B)与 Ling-3.0-flash-base(124B)两款 Base 模型,以及预训练、中期训练、WSM 合并三个阶段对应的共 6 个 checkpoints(据 m6 智东西等转述)。
- 全部检查点采用 MIT 协议,均未经过后训练(如对话/指令对齐),不适合直接当作对话助手使用,适用于继续预训练等场景。
- 训练流程引入 WSM(Weighted State Merging)技术,以合并方式替代传统的学习率(LR)衰减,覆盖整个训练周期(据 m1、m4 作者转述)。
- 发布定位是让开发者与研究人员自由选择任一阶段继续训练,或跨阶段比较模型表现,理解 Ling 模型家族的完整演化路径(据 m5 作者转述)。
为什么重要
- 完整开放从预训练到合并各阶段权重在开源社区较为少见,便于研究训练动态与中间表征。
- WSM 作为 LR 衰减的替代方案开源,为训练方法研究提供了可直接验证的素材。
- MIT 协议加双尺寸覆盖(7.9B 轻量与 124B 大规模),兼顾学术实验与规模化继续训练需求。
2026-08-19 ~ 2026-08-21 · 6 条相关
一手来源
- InclusionAI 发布 Ling-3.0-tiny-base 模型 — jacek2023 ·
- 蚂蚁百灵开源 Ling-3.0 Base 模型,开放预训练权重 — 智东西 ·
- Ling-3.0 发布全量 6 个基础检查点 — niacolhealth ·
- Ling-3.0 开源:发布 6 个基础检查点,引入 WSM 训练法 — bclavie · 2026-08-19
- 【源头】InclusionAI 发布 Ling-3.0-tiny-base 模型 — jacek2023 · 2026-08-19
- AntLing 开源 Ling-3.0 模型:WSM 合并替代 LR 衰减 — AcanthisittaOk1699 · 2026-08-19
- 【源头】蚂蚁百灵开源 Ling-3.0 Base 模型,开放预训练权重 — 智东西 · 2026-08-20
另有 2 条近重复转述:Asleep-Pilot-4142 · niacolhealth