AntLing 开源 Ling-3.0 模型：WSM 合并替代 LR 衰减
AcanthisittaOk1699 · reddit · 2026-08-19
AntLing 开源了 Ling-3.0-tiny 和 Ling-3.0-flash 的 6 个 Base 模型检查点，覆盖预训练、中期训练和 WSM 合并阶段。这些模型尚未进行后训练，旨在为研究者提供灵活的起点。
核心亮点：
- WSM 技术：用加权检查点合并（WSM）替代传统的学习率（LR）衰减，使训练过程更适合持续预训练，并能离线探索不同的 LR 衰减策略。
- 统一配方：tiny-base 和 flash-base 共享同一训练配方，便于社区在小规模验证策略后扩展至大规模。
模型规格：
- Ling-3.0-tiny-base：总参数 7.9B，激活参数 1.3B。虽然总参数仅为 Ling-2.5-mini 的一半，但在多数基准测试中表现相当或更优，尤其在代码任务上表现出色。
- Ling-3.0-flash-base：总参数 124B，激活参数 5.1B。在代码、推理和长上下文任务上表现强劲，可匹敌参数大 2-3 倍的模型。
所属事件:蚂蚁百灵开源 Ling-3.0 全阶段基础模型检查点(6 条相关)→
「模型」频道最新
- ChatGPT 推荐视频工具时提示「可通过 Runway 集成获取」，被讽疑似软广 — tlakomy · 2026-10-16
- 微软 MAI 自研 3T 参数级预训练基座模型完成，后训练结果即将公布 — soumitrashukla9 · 2026-10-16
- 实测 Gemini 4 Argon：速度远超 Opus 5.5，但幻觉多且贵 — prasenx · 2026-10-16
- Bindu Reddy 呼吁 Meta 开源 Wonder:称其略强于 DeepSeek — bindureddy · 2026-10-16
- Fortytwo Engine 用 Swarm Inference 让 Qwen3.8-27B 准确率升 7%、token 省 25% — rohanpaul_ai · 2026-10-16
- 「中国已追平前沿」?对比图显示 K3 仍落后 Microsoft MAI — scaling01 · 2026-10-16