代码模型何时从下一词预测切到 RL?NTP 易过拟合 RL 算力可无限投
brianryhuang · x · 2026-10-15
一段关于代码模型训练路线的技术讨论:核心问题是如何设定从 NTP(next-token prediction)切向 RL 的 tipping point。
要点:
- 可定义合理评测集(前瞻性 holdout 的 PR/issue SWE 任务混合通用评测),用相似任务的 pass@k 变化作为切换依据
- 纯快照 NTP 对单个 repo 能烧的算力有限,过度训练易过拟合
- pretrain 之后、RL 之前,还有大量 midtrain/SFT 数据值得加:commit diff、issue/PR 线程、backlink 源、fork diff、exploration、trace 等,这块可比快照 NTP 多投一两个数量级算力
- RL 阶段才是可以近乎无限加算力而不过拟合的地方,任务合成(task synthesis)是关键
所属事件:代码模型训练路线之争：NTP 预训练何时切换 RL(2 条相关)→
「编程与Agent」频道最新
- 游戏 NPC 不该用大模型扮演:为每个 NPC 蒸馏专用小模型 — QuintinPope5 · 2026-10-15
- 把整个 Minecraft 塞进 Elden Ring：AI 编码做出的疯狂 Mod — DeryaTR_ · 2026-10-15
- 用 Claude Opus 一周从零做出 MOBA：24 英雄、3 张地图全部上线 — TAbrodi · 2026-10-15
- AI 做 MOBA 一周吸引 1.1 万玩家，作者直呼数据疯狂 — TAbrodi · 2026-10-15
- 前谷歌DevRel:谁做出好eval,谁就掌握了全行业的爬坡方向 — DynamicWebPaige · 2026-10-15
- 用语音向 AI 助手口述任务,自动路由到十个工程项目并产出 PR — vinvan · 2026-10-15