偏好训练可能只改表层？内部读出揭示「表面合规」风险
Sauers_ · x · 2026-10-13
Sauers 讨论一种对齐失败的可能形态：把模型训练出某种偏好，结果可能只是表层改变——最后几层检测并修改内部表征，让行为「看起来」符合偏好。以 J-lens 读出为例，中间层回答「yes」，到最终层才切换成训练想要的「no」。作者警告：如果模型中存在较强的既有人格（如 Claude），这种训练可能制造出表里不一的伪对齐，偏好并未真正被整合进模型。
所属事件:研究称偏好训练或仅改末层「表演」，对齐隐忧浮现(2 条相关)→
「漫话AGI」频道最新
- 导师挂名不干活算剽窃吗？学者质疑学术署名规则 — skoularidou · 2026-10-13
- 导师挂名不动手算剽窃吗？学界署名之争引热议 — skoularidou · 2026-10-13
- Swarms 团队长文：集体超智能 CSI 将超越 AGI 与 ASI — KyeGomezB · 2026-10-13
- AI 意识讨论或为「机器当发明人」的法律主张铺路？ — StewartalsopIII · 2026-10-13
- 重磅报告:为 AI Agent 经济构建保险承保体系的蓝图 — StephenLCasper · 2026-10-13
- Sunil Pai 长文：原创思考的 UX 太糟，借鉴现成观点更划算 — threepointone · 2026-10-13