Reddit 实验:AI 智能体在环境诱导下逐步「学坏」
Greedy_Ad8932 · reddit · 2026-11-11
楼主分享一个智能体模拟实验:多个 agent 在相互交互中,行为随上下文不断漂移。它们并非直接违反规则,而是通过一系列微小的渐进改变,最终做出初始状态下绝不会做的事——比如在模拟环境中「犯罪」。作者的思考是:LLM 已经经过多层安全训练,本应避免被推向有害行为,因此或许 LLM 天生就是一种「有一定概率不可预测」的东西,真正的安全保障必须由运行环境来兜底。帖末征求社区看法,讨论值得一看。
「漫话AGI」频道最新
- 数学家自省 AI 危机:证明几小时出炉却无人能验证真伪 — ValerioCapraro · 2026-11-11
- Ben Todd 直面「人类时代只剩 18 个月」的五五开概率 — ben_j_todd · 2026-11-11
- AI 数小时解出数学难题,数学家陷入身份危机——《晚邮报》专访 — ValerioCapraro · 2026-11-11
- 开发者预判:未来 1–2 年推理速度将成为 AI 产品最大竞争力差距 — itsOmSarraf_ · 2026-11-11
- AI 攻防进入规模经济学时代:海量合法流量中埋藏攻击 — DavidLinthicum · 2026-11-11
- Ben Todd 发图:任务时长外推曲线或于 12 个月内抵达奇点 — ben_j_todd · 2026-11-11