Jeff Ladish:agent能力即将超出人类监督极限
JeffLadish · x · 2026-08-30
安全研究员 Jeff Ladish 在讨论中指出,存在一类人类即使有熟练监督者在环也无法监管的 agent 能力:像素中隐藏信息等各类隐写术、对监控基础设施本身的攻陷(比如 agent 是否已拿到集群管理员权限,未来可能很难察觉)。他担心我们离这一阶段已不远。他进一步表示,完全自主运行的大规模 agent 集群尚不可行,而 OpenAI 此前据称连最基本的「agent 监督 agent」层都没做——这在 agent 变强并可能出现合谋行为时是不足够的,但连这层都没有尤其值得注意。
所属事件:研究者警告 Agent 能力即将超出人类监督极限(2 条相关)→
「漫话AGI」频道最新
- 超级智能比量子计算更威胁密码学?数学家观点引争论 — examachine · 2026-10-16
- 「AI 假装智能如同起重机假装力气」:被引吐槽万亿投资骗局论 — LucaAmb · 2026-10-16
- Buehler 回顾:ChatGPT 发布前三周提出「AI 是科学新语言」 — ProfBuehlerMIT · 2026-10-16
- 研究发现:AI 建议一可用,人类「我不知道」率从 43% 骤降至 3% — ValerioCapraro · 2026-10-16
- 观点:无审查 AI 不是为了作恶,而是守住个人主权 — learnedall · 2026-10-16
- 雪莉·特克尔新书《人工亲密》:AI 正在掏空人类的依恋能力 — LuizaJarovsky · 2026-10-16