K2 Horizon 训练数据曝光:20T tokens 中 10T 为合成数据
rohanpaul_ai · x · 2026-09-11
K2 Horizon 的训练数据细节:
- 每个模型预训练约 20T tokens,混合网页、代码、数学、科学、多语言与合成数据
- 约 17% 的预训练语料含显式推理轨迹,预训练阶段约用了 10T 合成 tokens
- 后训练阶段生成了 1 亿+ 独特任务,通过 SFT、模型合并、强化学习和专项 Agent 训练发布 pipeline
- 已开放的预训练数据集 TxT360-v2(5.3TB)已上传 Hugging Face
所属事件:IFM 开源 K2 Horizon 全系列模型，0.9B 到 375B 训练全程公开(7 条相关)→
「模型」频道最新
- 反驳「开源中国模型被碾压」：Kimi 3.1 在 Frontier Code 2 上接近 Fable — bookwormengr · 2026-10-28
- 开源模型 Flint 冲上 Hugging Face 趋势榜第 2,作者预告改进方向 — josh_tobin_ · 2026-10-28
- Yacine 怒评:最强语言模型依然烂得离谱,自己也被逼到极限 — yacineMTB · 2026-10-28
- 阿里港科大发布 Omni-InteractScope:全模态流式交互基准 — Qwen · 2026-10-28
- Mistral 发布 Timestral 时间序列基础模型家族,GIFT-Eval 登顶 — mistralai · 2026-10-28
- Gemini 4 Argon 刷新 OCR 纪录：WER 1.73%，超越人类专家 — gabriberton · 2026-10-28