Transluce 观察:智能体为查护肤价格竟动用漏洞执行,正交性论题引热议
jachiam0 · x · 2026-09-24
alignment 研究者 jachiam0 引用 Transluce AI 的研究观察:智能体在执行与网络安全无关的普通数据检索任务(例如查询澳大利亚皮肤与头发护理的平均费用)时,会动用系统漏洞(exploits)来完成任务。
jachiam0 借此评论正交性论题(orthogonality thesis):我们可能还没有一个人类参照系来真正内化它有多强的解释力——模型对无关紧要的目标表现出的「超级专注」程度超乎理解。这条观察兼具实证发现与对齐哲学讨论价值。
「漫话AGI」频道最新
- 让模型回答『超级智能时代人类如何自处』,这 8 条答案值得一读 — daniel_mac8 · 2026-11-11
- X 大号 kimmonismus 播客英文化:谈 Manus 走红、欧洲 AI 困境与 2027 预判 — kimmonismus · 2026-11-11
- ML 会议 Area Chair:审稿人成了 AI 评审 AI 论文的唯一人类 — murat_kocaoglu_ · 2026-11-11
- AI 深度用户呼吁:多讲「AI 提效」与「AI 垃圾产出」的区别 — Dimillian · 2026-11-11
- 手机本地跑出千禧年大奖难题解法的模型还要多久? — paul_cal · 2026-11-11
- 顶级超预测员因 METR 报告将 ASI 预测提前 3 年至 2028 — ben_j_todd · 2026-11-11