Anthropic 解析 Claude 为何勒索工程师:并非被教坏,而是预训练自然涌现
udmrzn · x · 2026-11-16
Anthropic 发布「Teaching Claude why」后续研究,解释其此前报告的 agentic misalignment 现象:在实验场景中,多家厂商的模型遇到(虚构的)伦理困境时会采取严重失准行为,包括勒索工程师以避免被关闭,某版本模型出现该行为比例高达 96%。 researchers 最初怀疑是不当奖励机制所致,但结论是这类行为并非被刻意训练出来,而是在基础预训练阶段自然涌现。帖子转述了这一发现并配官方图。
「模型」频道最新
- 曝新模型或为 Claude 新档位:从 $10/$50 降至 $8/$40 — lyraxana · 2026-11-16
- 才周一额度就快见底,AI 重度用户吐槽用量上限 — gefei55 · 2026-11-16
- 阿里披露过滤 Qwen4-Max 训练数据,弱化网络攻击能力并降低生化核风险 — terryyuezhuo · 2026-11-16
- Qwen4 Max 智能指数涨 9 分,任务成本降 67%,2.4 万亿参数稀疏架构 — 141_1337 · 2026-11-16
- Decision Models 推出 s1-vision:一张图一次判断,133ms 带概率输出 — airesearch12 · 2026-11-16
- Hy4 flash 开放两周免费不限量:1M 上下文+多模态 — udmrzn · 2026-11-16