Solar Open 2 预训练把 20T token 压到 10T，并扩到 1M 上下文
keunwoochoi · x · 2026-07-26
- 这条主要讲 Solar Open 2 的预训练流程：先从 Solar Open 1 做选择性权重迁移，再走大约 12T token 的三阶段训练。
- 数据侧从最初清洗过的 20T token 池进一步压缩到 10T，会给数据打质量分、去重，并调整混合比例，让真实数据、代码、数学和英语占比更高。
- 第 4 阶段把上下文扩到 1M tokens；作者还提到在长上下文扩展时性能有回落，因此通过 checkpoint merge 做了补偿。
所属事件:Upstage 发布 250B 主权大模型 Solar Open 2(6 条相关)→
「模型」频道最新
- Muse Spark 1.3 安全报告:CoT 可控性评估首次对标四大厂商 — tomekkorbak · 2026-10-27
- Meta Muse Spark 1.3 系统卡采用图宾根 4 项评测基准 — maksym_andr · 2026-10-27
- ChatGPT Pro 500 套餐曝光：月费 445 英镑，周额度已用 91% — yoimnotkesku · 2026-10-27
- 学者争论：现行 LLM 远超 GPT-4，但期刊审稿延迟挡住了新模型 — DeryaTR_ · 2026-10-27
- OpenAI 发布 Terra 遭社区失望：实验室内部与公开模型差距拉大 — ChrisGPT · 2026-10-27
- Claude 被喂「物理穿帮」AI 视频：自动算 CFD 修复后重渲染同场景 — OfirPress · 2026-10-27