观点:预训练是变换,后训练是翻译
Liu_eroteme · x · 2026-08-27
作者提出了一种理解模型训练过程的框架:预训练更接近于“变换”,即从无结构的随机初始化转变为数据分布的结构化模型;而后训练则更接近于“翻译”,即沿着验证器偏好轴重新加权概率分布。
「模型」频道最新
- 端侧模型跑分:苹果内置模型仅排第四,开源模型反超 — JosephJacks_ · 2026-08-27
- 评论文章:小模型时代已经到来 — calvinfo · 2026-08-27
- Opus 说搞不定,Fable 甩出一套冷门数学理论破局 — IanArawjo · 2026-08-27
- GLM-5.3-Flash 上线评测竞技场,实测 DeepSeek-V4 不宜做评审 — ChenhaoTan · 2026-08-27
- Claude 模型偏好独特,Codex 写摘要易致其犯错 — Liu_eroteme · 2026-08-27
- GLM-5.3 Flash 推出 Unsloth 优化 GGUF 版本 — ElementNumber6 · 2026-08-27