从 GEN-1.5 八个月 loss 曲线看预训练与 Scaling 的通用方法论
CatAstro_Piyush · x · 2026-09-07
LLM 预训练研究者 Jiaxuan Zou 由 GEN-1.5 超过八个月的预训练 loss 曲线（三个训练阶段的验证动作预测误差）出发，撰文提出「预训练与 scaling 是一种通用方法论」：数据提供经验、算力提供计算、训练把经验中的结构编码进权重，语言模型、世界模型与具身智能可共享这一研究路径。
文章引用杨植麟与张小珺对话中的两个条件：
- 一个足够通用的框架，能从广泛经验中学习（架构、数据表示、训练目标与优化方法）；
- 一个可扩展的学习过程，能持续利用更多数据与算力。
例证是 Dyna-2：把人类视频预训练扩展到 100 万小时，在未见过的机器人数据上预测能力提升；在相同 post-training 设置下，真实机器人任务表现随人类预训练数据规模增长而提升。数据构成与视频预测目标也影响该结果。
「具身」频道最新
- 人形机器人每一步都是连续纠偏：看 demo 要看摔倒后怎么恢复 — Olivier__OG · 2026-10-26
- CircuitHub 发布工厂级机器人 The Grid，美国产 PCB 提速两倍对标深圳 — garrytan · 2026-10-26
- AI 研究员曾预测机器人 2034 年才能跑赢人类，今年已被连续打脸 — ben_j_todd · 2026-10-26
- 上海AI实验室等发布 100 小时可穿戴采集人形机器人训练数据集 — ChuckDBrooks · 2026-10-26
- RealSense D585 Pro AI 3D 深度相机到货开箱，主打 Physical AI — chrismatthieu · 2026-10-26
- 网友晒「物理世界智能体集群」演示,实体 Agent 成群协作 — pduan · 2026-10-26