从 GEN-1.5 八个月 loss 曲线看预训练与 Scaling 的通用方法论
CatAstro_Piyush · x · 2026-09-07
LLM 预训练研究者 Jiaxuan Zou 由 GEN-1.5 超过八个月的预训练 loss 曲线（三个训练阶段的验证动作预测误差）出发，撰文提出「预训练与 scaling 是一种通用方法论」：数据提供经验、算力提供计算、训练把经验中的结构编码进权重，语言模型、世界模型与具身智能可共享这一研究路径。
文章引用杨植麟与张小珺对话中的两个条件：
- 一个足够通用的框架，能从广泛经验中学习（架构、数据表示、训练目标与优化方法）；
- 一个可扩展的学习过程，能持续利用更多数据与算力。
例证是 Dyna-2：把人类视频预训练扩展到 100 万小时，在未见过的机器人数据上预测能力提升；在相同 post-training 设置下，真实机器人任务表现随人类预训练数据规模增长而提升。数据构成与视频预测目标也影响该结果。
「具身」频道最新
- 半机械蟑螂「Paraborg」可钻废墟搜救并远程注射给药 — ChuckDBrooks · 2026-09-07
- 业内人士预测：Optimus 3 与 Figure 4 年底亮相并初步量产 — davidpattersonx · 2026-09-07
- YC 机器人项目强势回归,投资人却仍用软件逻辑估值引担忧 — arian_ghashghai · 2026-09-07
- RealSense 发布 D585 Pro 与 Perception Studio:6 厘米到 6 米一镜通吃 — lukas_m_ziegler · 2026-09-07
- 三星拟在 CES 2027 首秀自研人形机器人,RX 部门操刀原型 — CyberRobooo · 2026-09-07
- Figure 承诺 35 亿美元算力训练机器人模型，人形价值链全景图曝光 — demian_ai · 2026-09-07