预训练团队 3 个月复盘:Agentic 时代不能只靠 NLL,该把能力上游化
rdesh26 · x · 2026-11-12
SmartPigJoe 发表长文《Pretraining in the Agentic Era Cannot Rely on NLL Alone》，基于其在预训练数据团队 3 个月的思考，点评 MAI、Beam、ML4 与 Nemotron：
- 核心论点：长程 agent 时代，预训练不能只看静态 NLL/BPB 指标；CPT（继续预训练/中期训练）也不应只是切换到干净数据或 lr 退火
- 应在 CPT 阶段注入多轮工具使用模式，抬高 pre-RL 的起点
- rdesh26 补充「upstreaming」观点：随着能力更基础化，应把它们推到训练栈更早阶段，因为那是大部分学习发生的地方；如语音-文本模态对齐这类基础能力应在 pretraining/CPT 中学习
「研究」频道最新
- 1920年《大众机械》预言成真:日食观测证实光线被引力弯曲 — generativist · 2026-11-12
- ELIZA 原始代码 2021 年才现世:2600 行纸稿靠人手敲回 — demian_ai · 2026-11-12
- 历时一年半研究：LLM 的好奇心行为差异与多智能体协作 — radamihalcea · 2026-11-12
- ContactBench 1.0 发布:可打印资产评测机器人接触式操作 — leto__jean · 2026-11-12
- 数学形式化圈新梗：把 nLab 整个形式化才算「最终 Boss」 — burny_tech · 2026-11-12
- Illumina 基因组模型 PromoterAI 获社区 PyTorch 移植并双优化 — jmschreiber91 · 2026-11-12