模型行为也取决于后训练
gerardsans · x · 2026-07-19
这段讨论强调：模型行为差异不只来自预训练数据和架构，也来自后训练与 RLHF。
作者指出，许多实验室会共享一些常见语料，但具体组成并不透明；而后训练阶段使用的数据与规则往往更是“关在门后”。因此，理解模型表现时不能只看 pretraining，还要把 post-training 和对齐过程纳入考虑。
所属事件:Claude宪法机制探讨：后训练决定模型行为(2 条相关)→
「研究」频道最新
- DeepMind 论文：LLM 无法真正随机，给随机种子才行 — rohanpaul_ai · 2026-10-27
- DeepMind 论文：LLM 无法自行随机采样，需外部传入随机数 — rohanpaul_ai · 2026-10-27
- 世界模型新玩法：物体赋重量摩擦系数，物理引擎推演机器人动作 — jonstephens85 · 2026-10-27
- 剑桥等机构论文揭露图软提示的 token collapse 病态行为 — Sapienza · 2026-10-27
- Mathathon 2.0 启动：与陶哲轩 SAIR 合作，团队获 150 万美元算力 — _sathvikr · 2026-10-27
- 推友提出「甜课程」真实存在：两类 ML 问题应分而治之 — mike64_t · 2026-10-27