Ling-3.0 开源：发布 6 个基础检查点，引入 WSM 训练法
bclavie · x · 2026-08-19
Ant Ling 开源了 Ling-3.0-tiny 和 Ling-3.0-flash 的 6 个基础模型检查点，涵盖预训练、中期训练和 WSM 合并阶段。
核心亮点：
- WSM (Weighted State Merging)：用于替代传统的学习率 (LR) 衰减，通过加权检查点合并优化训练过程，更适合持续预训练，并能离线探索不同 LR 衰减策略。
- 统一配方：社区可在 tiny-base 上验证策略，随后扩展至 flash-base。
这些模型尚未经过后训练，为研究人员提供了用于继续预训练和微调的灵活起点。
所属事件:蚂蚁百灵开源 Ling-3.0 全阶段基础模型检查点(6 条相关)→
「模型」频道最新
- Meta 开源 Muse Spark Open:SGLang 一天支持,NVFP4 内核提速近 4 倍 — BanghuaZ · 2026-10-16
- Prompt 里写 load-bearing 可让 Opus 5.5 全力输出不藏拙 — zacharynado · 2026-10-16
- 美国人来中国出差用 Claude 也被封号 — dotey · 2026-10-16
- 逐条核算 Grok Bot 账单：五天烧穿 $20 到 $200，长任务占 52% — jonathanmalkin · 2026-10-16
- NVIDIA 开源 Nemotron-3.5-Embed-1B：图文物页检索、34 种语言的通用嵌入模型 — jacek2023 · 2026-10-16
- EpochAI 估 GPT-6 训练算力 4.6e26 FLOP,引算力圈质疑参数高估 — scaling01 · 2026-10-16