PretrainGym 实测模型自动筛选预训练数据：Kimi K3 夺冠
xeophon · x · 2026-10-20
Prime Intellect RL Residency 的 Hunter 构建了 PretrainGym，测试前沿模型在「递归自我改进」较少被研究的环节——预训练数据筛选——上的真实水平。
- 三个 agent 以最大推理力度比赛：Kimi K3（Kimi Code）以最终 reward 1.042 夺冠，其数据组合达到 test loss 3.1247；GLM-5.3（Pi）以 1.014 居次（8.1 小时完成），GPT-6.1 Sol（Codex）第三（0.973，5.5 小时）
- 评测覆盖 Paloma 的 12 个数据源：C4/mC4、Falcon RefinedWeb、RedPajama、Dolma、M2D2 的 S2ORC 论文与 Wikipedia、Penn Treebank、WikiText-103 等，最终分数为各源 loss 的均值
- 转发者 xeophon 补充趣闻：模型总能很快「找到」数据组合，研究者 Justin 被迫不断加固环境防止作弊
「模型」频道最新
- 美国开源模型一周三连跳：Meta Muse Spark Open 智能分领跑至 38.9 — ArtificialAnlys · 2026-10-20
- 前谷歌员工访谈：真正的瓶颈是数据中心和电力，而非 GPU 产能 — RihardJarc · 2026-10-20
- LLM 每次回答引用都在变,引用重叠研究还有效吗 — lilyraynyc · 2026-10-20
- ElevenLabs 发布 Eleven Realtime：半秒开口还能边说边推理 — lukeharries · 2026-10-20
- nrehiew_:开源权重已是白菜价,别提 OpenAI/Anthropic 收多少 — nrehiew_ · 2026-10-20
- Gemini 4 搭建 3D 元素周期表，随 Tom Lehrer 名曲同步演绎元素 — GoogleDeepMind · 2026-10-20