Solar Open 2 扩到 250B，却把总训练 tokens 降了下来
keunwoochoi · x · 2026-07-26
- 这条讨论的是韩国模型 Solar Open 2：它是一个 250B 的主权 LLM，体量比 Solar Open 1 大 2.5 倍，但总训练 token 反而更少。
- 作者总结了它的四阶段后训练流程：SFT、multi-domain RL、specialist 阶段，以及 multi-teacher on-policy distillation（MOPD）。
- 论文还强调了 选择性权重迁移、总计约 10T 的通用预训练、约 1T 的强化预训练，以及面向韩国办公/监管文档的专项数据处理。
所属事件:Upstage 发布 250B 主权大模型 Solar Open 2(6 条相关)→
「模型」频道最新
- ChatGPT 爬虫样例代码被实测：完全剔除所有 Schema 标记 — VeryWellVersed · 2026-10-27
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27
- FrontierML 基准:Kimi K3.1 Pro 成最强开源模型,但仍远落后 Opus 5.5 — teortaxesTex · 2026-10-27
- 七项任务实测:开源模型开高推理档未必更好 — keunwoochoi · 2026-10-27
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27