纯 RL 不够:Carbon-X 证明 midtraining 是突破随机基线的关键
LoubnaBenAllal1 · x · 2026-10-22
团队分享了 Carbon-X 的训练方法学:直接对 Qwen3-14B 做 RL,在 FrontierVEP 上整个训练过程始终无法突破 50% 随机基线;而从 midtraining 检查点出发,同样的 RL 方法越过了随机水平并持续提升,说明 midtraining 带来了纯 RL 无法实现的收益。
所属事件:Carbon-X 训练方法揭秘:midtraining 是关键(2 条相关)→
「研究」频道最新
- 爱丁堡团队连发 11 篇论文：自博弈让 Qwen2.5-7B 开放任务提分 10 点 — PMinervini · 2026-10-22
- MIT 学者将讲解注意力机制向量自回归，用 Transformer 做经济预测 — TaniaBabina · 2026-10-22
- 威斯康星麦迪逊计算成像组新网站上线，招收 2027 博士 — prof_kamilov · 2026-10-22
- 三步搭建你自己的信息几何：流形、度量、仿射联络自由组合 — FrnkNlsn · 2026-10-22
- 研究者用贝叶斯视角质疑：LLM 跑分噪声大到模型其实打平 — remilouf · 2026-10-22
- Carbon-X 当子代理,Kimi K3 的 DNA 智能指数提升 11.1 个百分点 — LoubnaBenAllal1 · 2026-10-22