Ampersand 训练细节：用模拟反馈学长期后果，而非偏好奖励

niloofar_mire · x · 2026-10-21

humans& 补充介绍了 Ampersand 的训练方法：与用可验证奖励或偏好奖励训练的助手模型不同，Ampersand 通过模拟反馈（simulation feedback）学习自身行为的长期后果。

模型官网阐述了其动机：当前训练范式聚焦任务完成与浅层偏好，把模型推向越来越自主、取代人类工作；而好的协作者会思考自己的言行会带来什么、影响谁、能否帮助人们共同达成目标。这类行为源自长期开放式的人际互动，Ampersand v0.1 是用该范式训练的首个模型，通过 Agents API 面向构建协作工具与应用的开发者开放。