观点：预训练是变换 后训练是翻译

社区讨论提出理解模型训练的新框架：预训练更接近"变换"，即从无结构的随机初始化转变为贴合数据分布的结构化模型；后训练则更像"翻译"，沿验证器偏好轴重新加权概率分布。另一种表述认为预训练主要构建观察和策略表示，后训练则诱导表示与策略选择的"元策略"，这一视角可用于解释强化学习中的某些现象。

2026-08-27 ~ 2026-08-27 · 2 条相关