模型行为也取决于后训练
gerardsans · x · 2026-07-19
这段讨论强调：模型行为差异不只来自预训练数据和架构，也来自后训练与 RLHF。 作者指出，许多实验室会共享一些常见语料，但具体组成并不透明；而后训练阶段使用的数据与规则往往更是“关在门后”。因此，理解模型表现时不能只看 pretraining，还要把 post-training 和对齐过程纳入考虑。
所属事件:Claude宪法机制探讨：后训练决定模型行为(2 条相关)→
「研究」频道最新
- DiFA 让扩散模型推理对齐前向统计，生成质量更高 — cn-scut · 2026-07-21
- 微软研究院把 LLM Judge 变 Coach，优于 rubric RL — MicrosoftResearch · 2026-07-21
- OpenLongTail 用生成视角补齐长尾自动驾驶数据 — TexasAMUniversity · 2026-07-21
- GEPO 用组熵改造 GRPO，在 13 项基准上更稳更强 — internlm · 2026-07-21
- 阿里 RynnBrain 1.1 把具身基础模型扩到 122B-A10B — Alibaba-DAMO-Academy · 2026-07-21
- Apple 提出无需真实环境的 API 智能体合成数据方法 — _akhaliq · 2026-07-21