复现 Anthropic「教 Claude 讲道理」：艰难建议比虚构故事有效 10 倍
dhadfieldmenell · x · 2026-11-04
secondlookxlab 复现了 Anthropic「Teaching Claude Why」的中训练数据干预，在 Qwen 2.5 32B/72B 基础模型上验证其缓解 agentic misalignment 的效果：- 用「AI 表现良好的虚构故事」训练：错对齐率 0.61→0.43（32B）、0.69→0.63（72B），仅小幅改善；- 用「道德困境的艰难建议」训练：错对齐率直接降到 0.06；- 两者结合效果最好，降至 0.04。两种方法都开箱即用，且「艰难建议」远胜虚构故事——为对齐中训练数据设计提供了直接证据。
所属事件:SecondLook xLab 在 Qwen 上复现 Anthropic 对齐方法并开源(2 条相关)→
「漫话AGI」频道最新
- Gary Marcus 自评 2025 年预测：17/18 正确， Scaling 见顶论获印证 — GaryMarcus · 2026-11-04
- 梁文锋语录再流传:AI 太大无法垄断,开源是生存必需而非慈善 — teortaxesTex · 2026-11-04
- Greg Kamradt：基准测试该转向衡量 AI 的真实经济价值 — GregKamradt · 2026-11-04
- Gary Marcus 晒战绩：18 条高置信预测对了 17 条，回击 Sabine 断章取义 — GaryMarcus · 2026-11-04
- 读博人心声:大脑不是 GPU,休息本身就是科研的一部分 — tw_killian · 2026-11-04
- Sam Altman:年内 AI 已从不及顶尖科学家跃升至多数可比肩 — Aiden_Tech_Ai · 2026-11-04