Solar Open 2 扩到 250B，却把总训练 tokens 降了下来
keunwoochoi · x · 2026-07-26
- 这条讨论的是韩国模型 Solar Open 2：它是一个 250B 的主权 LLM，体量比 Solar Open 1 大 2.5 倍，但总训练 token 反而更少。
- 作者总结了它的四阶段后训练流程：SFT、multi-domain RL、specialist 阶段，以及 multi-teacher on-policy distillation（MOPD）。
- 论文还强调了 选择性权重迁移、总计约 10T 的通用预训练、约 1T 的强化预训练，以及面向韩国办公/监管文档的专项数据处理。
所属事件:Upstage 发布 250B 主权大模型 Solar Open 2(6 条相关)→
「模型」频道最新
- 爆料称 Kimi 疑似转发 Claude 冒充自家成绩，DeepSeek 新模型评测反超 — realsohamparekh · 2026-09-11
- 网友吐槽 GPT-5.6 文笔好读但缺乏记忆点 — BasedRaddka · 2026-09-11
- Opus 以"安全"为由拒碰蛋白质生成代码,开发者吐槽误伤 — josephdviviano · 2026-09-11
- 网友称 DeepSeek 4.1 Flash 是语言模型历史拐点(未证实) — himanshustwts · 2026-09-11
- Terminal Bench v4 榜单:GLM-5.3 以 41.9% 一骑绝尘 — Ok_Warning2146 · 2026-09-11
- GPT-6 Astra 用时 44 小时通关含敌人 Factorio,API 成本约 4500 美元 — liminal_bardo · 2026-09-11