代码模型训练路线之争：NTP 预训练何时切换 RL

研究者 Brian Ryhuang 提出一组值得作为博士课题的代码数据 scaling law 问题：对同一代码仓库，用下一词预测（NTP）当文档训练会优化 repo 困惑度但易过拟合，而 RL 算法可无限投入算力。核心议题是如何设定从 NTP 切向 RL 的 tipping point，即代码仓库该用于预训练还是跑 RL。

2026-10-15 ~ 2026-10-15 · 2 条相关

• 一个问题考倒博士生：代码仓库该拿去做预训练还是跑 RL？ — brianryhuang · 2026-10-15
• 代码模型何时从下一词预测切到 RL?NTP 易过拟合 RL 算力可无限投 — brianryhuang · 2026-10-15