一个问题考倒博士生：代码仓库该拿去做预训练还是跑 RL？
brianryhuang · x · 2026-10-15
研究者 Brian Ryhuang 提出一组值得作为博士课题的代码数据 scaling law 问题：
- 对同一个代码仓库，用 NTP 当文档训练（优化 repo perplexity）更省算力，还是对其中的任务做 RL 更划算？
- 任务是现成的、还是需要从仓库从零合成，会改变结论吗？
- 同一仓库能否同时用于 NTP 和 RL 而不过拟合/互相干扰？边界条件是什么？
- 以上答案是否会随仓库性质或模型能力水平而变化？
帖文只提出问题未给答案，但对做代码模型训练的人是有价值的研究议程。
「研究」频道最新
- 博主汇总:前沿模型接连攻克人类困求数十年的难题 — IgorCarron · 2026-10-15
- 斯坦福发布 CausalSmith：用 Lean 自动化因果推断理论研究 — StanfordAILab · 2026-10-15
- Cellular Intelligence 多重扰动平台获 scverse 2026 最佳海报 — arjunrajlab · 2026-10-15
- BARRACUDA 微流控芯片一次捕获百万单细胞，高通量测绘基因线路设计空间 — NikoMcCarty · 2026-10-15
- 斯坦福 DexAgent:一条人类第一视角视频即可生成机器人灵巧操作训练数据 — StanfordAILab · 2026-10-15
- 约翰斯·霍普金斯团队获 HCOMP 2026 最佳论文:提出「信息满意度」摘要评测新轴 — mdredze · 2026-10-15