如何看待模型：偏好、倾向与 RL 的拉伸作用
voooooogel · x · 2026-08-31
作者对“假性利他主义”(PSM) 提出了不同的看法，认为很难定义“人设”，且该概念低估了后训练的能力。他主张将模型视为从 Token 级别到长文本叙事级别的“倾向、怪癖和偏好”的集合体，而强化学习 (RL) 则是对这个集合体进行推拉和拉伸。例如，RL 若想在特定上下文中使模型“失对齐”，最直接的方法可能是直接编辑模型内部与后训练连贯性耦合的“善恶向量”，这种结构性的修改很可能泛化到其他上下文。
所属事件:研究者激辩「Persona」抽象与 RL 后训练究竟改变模型什么(6 条相关)→
「研究」频道最新
- Nature 论文用 LLM 绘制人类语言神经元地图,机制可解释性已成现实 — raphaelmilliere · 2026-10-16
- 审稿人自述:把写好的审稿意见喂给 AI 复查,论文本身不上传 — StingMeleoron · 2026-10-16
- OpenAI proofdump 把 3SUM 纪录推向 O(n^1.921),Lean 验证通过 — iskander · 2026-10-16
- 为 Kaggle Gemma 4 竞赛选手整理的消融实验资源 — ayushthakur0 · 2026-10-16
- 专家预测 2100 年前全球 AI 灾难概率中位数为 5% — ben_j_todd · 2026-10-16
- 经济学家的历史镜鉴:拖拉机冲击下美国青少年延长在校时间 — soumitrashukla9 · 2026-10-16