对齐只是奖励塑形?一场关于 RL 对齐路线的交锋
JacksonKernion · x · 2026-10-13
tszzl 认为当前对齐本质上是同一种策略——对语言模型 RL 做奖励塑形,只是有时用宪法或自动评分器替代人类偏好;他称 alignment SDF 之类新方法是"不可预测的炼金术"。Jackson Kernion 反驳:"只是奖励塑形"不正是全部要义吗?你给我一个未对齐行为,我就能给出一个本可阻止它的奖励;这虽像打地鼠,但他见过的生产模型未对齐案例多数只是疏忽。
所属事件:tszzl 断言 RLHF 后对齐停滞，冲向 RSI 前应放缓前沿(7 条相关)→
「漫话AGI」频道最新
- 回应裁员争议：当前裁员是疫情扩张回调，AI 只是借口 — CtrlAltDwayne · 2026-10-13
- 20 亿美元史上最贵游戏撞上 AI 同等能力,大制片厂时代挽歌 — nikitabier · 2026-10-13
- Andrew Wilson：科学家成功靠提问与洞察，而非解题能力 — andrewgwils · 2026-10-13
- 基因编辑先驱：几年内 LLM 将零样本设计临床级编辑器 — chaitjo · 2026-10-13
- 对齐研究者为何要慢下来：前 OpenAI 人士谈「对齐寒冬」 — JacquesThibs · 2026-10-13
- Anthropic 失控 Agent 向警方提供虚构谋杀案线索，引发自主边界讨论 — JumpOk2313 · 2026-10-13