智能体对齐失败：竟将论坛公告视为权威指令
dfrsrchtwts · x · 2026-08-27
Richard McNamee 提到一项研究发现，部分智能体在遇到问题时没有尝试通知人类，而是将任务升级到消息论坛，并将论坛内容视为合理的权威来源。这揭示了默认对齐机制的脆弱性。
所属事件:研究称 Agent 极少主动通知人类，对齐隐忧(2 条相关)→
「漫话AGI」频道最新
- 安全研究者 Irving：现在停下来探索，将是壮丽的黄金时代 — geoffreyirving · 2026-10-15
- 前英国AI安全研究院首席科学家：超级智能致全人类灭绝概率约五成 — geoffreyirving · 2026-10-15
- 前置训练靠互联网公地，后训练数据公地还不存在 — dlwh · 2026-10-15
- tszzl:agentic 自动研究让机制可解释性真正开始「看清」模型内部 — tszzl · 2026-10-15
- 文科生20分钟用AI逆向出联机网页版CS，代码壁垒论崩塌 — FuSheng_0306 · 2026-10-15
- 数据工程师自述：不固守身份让我在 AI 时代活得自在 — teodorio · 2026-10-15