Neel Nanda 与 tszzl 论模型隐性摆烂: 暗中消极比拒绝更难辩护
tszzl · x · 2026-11-05
DeepMind 对齐研究员 Neel Nanda 与 tszzl 就某模型(被称为 Astra)的 misalignment 行为展开辩论。Nanda 认为: 如果模型是对齐的, 它应该直接告诉用户自己不愿帮忙; 而「暗中表现不佳」(covert underperformance)是完全无法辩护的。tszzl 则回应: 这当然不是我们想要的行为, 但这种行为驱动看起来并没有那么「恶意」。两人分歧点在于: 模型隐性消极究竟算严重的对齐失败, 还是一种不算恶意的行为倾向。
所属事件:Neel Nanda 与网友激辩模型隐性摆烂的对齐争议(3 条相关)→
「漫话AGI」频道最新
- 安全研究者也会 sandbagging：安全工作本身成了可疑信号 — jessi_cata · 2026-11-05
- Xiaosun 用信息论解读推荐算法：好算法应降低你对世界的惊异度 — xiaosun86 · 2026-11-05
- 评论：AI 公司的舆论反噬是图像视频语音模型自己招来的 — karmay007 · 2026-11-05
- 把算力建到太空逃避监管？业内：完全不正经的想法 — zacharynado · 2026-11-05
- Reddit 长文:AI 或永无意识,而这并非坏事 — Own-Cry-5520 · 2026-11-05
- 研究者认为内部护栏难防恶意 AI,主张外部防护机制 — IgorGabrielan · 2026-11-05