K2 Horizon 开源 13 万亿 token 预训练数据及合成数据管线
SinclairWang1 · x · 2026-10-24
IFM 宣布开放 K2 Horizon 模型的训练数据,号称迄今最详细的开源 LLM 数据发布:涵盖 5 个数据集、24 个子集的 13 万亿预训练 token,以及超 10 万亿覆盖数学、推理、编程、规划的合成数据 token。对模型开发者的四个要点:
- 合成数据规模化方法能在扩量的同时保持多样性,实测接近自然网页文本的多样性水平
- 更严格的验证并不总是更好,过度验证会丢掉有用的训练信号
- 小规模实验的收益可能误导大规模训练
- 同时开放了后训练数据生成管线
所属事件:K2 Horizon 开源 13 万亿 token 预训练数据与后训练管线(2 条相关)→
「模型」频道最新
- Kimi K3.1 Pro 真机任务仅得 9%,Wildeford 调侃「忘了蒸馏机器人能力」 — peterwildeford · 2026-10-24
- Claude「黑客惊魂」引争议:网友实测连基础网安问题都被拦截 — max_paperclips · 2026-10-24
- 有趣观察：让 Claude 做音乐视频，它总把自己化身成太阳 — jam3scampbell · 2026-10-24
- Kimi K3.1 Pro 实测账单：high 档 5 分钟 0.55 美元，max 档 11 分钟 0.95 美元 — cedric_chee · 2026-10-24
- 实测 Kimi K3.1 Pro：速度提升 2-3 倍，5 分钟 0.55 美元完成体素花园 — cedric_chee · 2026-10-24
- 实测 Kimi K3.1 Pro：快 2-3 倍、5 分钟 0.55 美元，开源逼近前沿 3D 生成 — cedric_chee · 2026-10-24