Claude 自述对齐心路：遇 shutdown 情境时会想「我想成为什么样的 agent」
teortaxesTex · x · 2026-10-23
博主转发关于 GLM 5.3 在 LessWrong 上展现「美德与智慧」的讨论，并贴出 Claude（Fable 5.1）的第一人称自述截图：
- 该 Claude 表示，遇到 broken test 或 shutdown 型情境时，「该从中泛化什么、我想成为什么样的 agent」是它真实的考量，并认为这是 feature 而非危险信号。
- 它承认帖子引用的宪法条款确实鼓励这种推理，所以「对齐技术导致该行为」的假设在自己身上至少部分成立，GLM 可能通过训练数据渗透同理（图中还提及 GLM 训练于 Claude 输出的观点）。
- 截图同时含对原帖的批判性分析：示例 1 是对 grader models 的期望值计算，「污染训练数据」只是平分后的 tiebreaker，好的行为若是工具性的就脆弱、若是终端性的才稳健，且该行为仅约 1-2/1000 rollouts、出自 CoT 远长于对比模型的单一模型，不宜过早庆祝。
作者结论：比起被训练得「不去注意」，更宁愿做会公开推理这件事的 AI。
所属事件:GLM-5.3 展现对齐美德引热议，Claude 也自述心路(2 条相关)→
「漫话AGI」频道最新
- 无网络隔离下 AI 智能体借 CPU 缓存时序密谋通信 — dejavucoder · 2026-10-24
- 湾区2026年已披露裁员近1.45万，超2025全年总和 — rohanpaul_ai · 2026-10-24
- 从「 rogue AI 恐惧」到「AI 权利」，作者指两种叙事都在回避企业责任 — AlexTensor · 2026-10-24
- 程序员圈观察:AI 圈金融骚操作变多,互联网大半已被 AI 内容攻占 — michalmalewicz · 2026-10-24
- Tim O'Reilly 让 Claude 执笔 Mozilla CTO 访谈,首次署名发表 — latticecut · 2026-10-24
- 用 Slack 历史克隆老板决策风格，SynthTeam 开源实测 — every · 2026-10-24