K2 Horizon 开放 13 万亿 token 预训练数据与后训练数据管线
ChengleiSi · x · 2026-10-24
IFM（K2 团队）宣布迄今最详尽的开放 LLM 数据发布：K2 Horizon 的预训练数据与后训练数据生成管线全部开源。
- 预训练：13 万亿 token，5 个数据集、24 个子集，共 60 亿文档、21.6TB，已上线 Hugging Face
- 后训练：超 10 万亿 token 合成数据，覆盖数学、推理、编码、规划与问题求解；11 个仓库、7 条任务生成管线、3 条高级生成管线在 GitHub 开放
- 方法要点：合成数据规模化不损失多样性（接近自然网页文本）；更严格的验证不总是更好（会丢有效训练信号）；小规模实验的胜出组合会误导（最终数据 mix 在小实验中其实落败）；后训练数据生成超越教师模仿，能产出教师自身无法生成的轨迹
「研究」频道最新
- ZurichCV#15 讲座预告：DeskForge 桌面环境与 computer-use 智能体 RL 环境 — DominiqueCAPaul · 2026-10-24
- LEASH:弱代理带不确定性信号,成本降 19% 追平 Claude Opus 5 — SharonYixuanLi · 2026-10-24
- In Silico 线下活动回归:11 月伦敦谈 flow matching 与分子蛋白质设计 — mmbronstein · 2026-10-24
- DeepMind 用 AlphaProtein Novo 设计出自然界从未演化出的新酶 — hey_abusiddik · 2026-10-24
- 冠脉造影狭窄检测实战：标注格式不一致让 YOLO 跨数据集崩盘 — Future-Structure-296 · 2026-10-24
- ICLR 审稿人吐槽待审论文太多：全是 slop 没法审 — chhaviyadav_ · 2026-10-24