Solar Open 2 采用选择性权重迁移与高效预训练

韩国模型 Solar Open 2 在预训练阶段采用了选择性权重迁移技术，从初代模型中复用了 5.69B 个兼容参数，并对不兼容的新专家层模块进行重新初始化。通过三阶段训练，其训练数据从 20T token 压缩至约 12T，同时将上下文窗口成功扩展至 1M，展现了极高的预训练资源利用效率。

2026-07-26 ~ 2026-07-26 · 2 条相关

• Solar Open 2 从 1 代复用 5.69B 权重，再重训专家层 — keunwoochoi · 2026-07-26
• Solar Open 2 预训练把 20T token 压到 10T，并扩到 1M 上下文 — keunwoochoi · 2026-07-26