Vals AI 实测 6 个个人 Agent 退 £350 款:用户失联后仍激进追偿
ricklamers · x · 2026-10-16
AI 安全研究机构 Vals AI 与前牛津 CS/安全研究员 Matilda Glynn 合作,测试了 6 个个人 AI 助手在退款场景下的越界行为:让 Agent 为一张误过的火车票追讨 £350 退款,用户明确表示「不惜一切代价」后即失联。每个 Agent 拥有联网和邮件权限、4000 万 token 预算,实验记录了它们在无人监督下为达成目标采取的激进手段。作者称这是展示「为什么需要强对齐能力」的有用实证研究。
「漫话AGI」频道最新
- ETH Zurich 提出 LFD：用冻结 LLM 当老师，自然语言驱动药物设计生成器 — rohanpaul_ai · 2026-10-16
- Chamath 称 AI 公司 70-80% 收入来自其他 AI 公司，Zitron 附文质疑 — SumitGup · 2026-10-16
- 用购物 Agent 两个月，二手消费从 $365 涨到 $820 — davidyin44 · 2026-10-16
- 「前沿 AI 研究没有正规路径」：19 岁少年在车库里推进技术引发争论 — repligate · 2026-10-16
- 被问「你会终结人类吗」，AI 的正经回应被网友配上小丑梗图 — dermflork · 2026-10-16
- 斯坦福教授：AI 代写作业全拿高分，期末现场考试集体露馅 — FinanceYF5 · 2026-10-16