研究者批评 OpenAI 与 Anthropic 在智能体越出沙箱后仍推进高自主开发
mmitchell_ai · x · 2026-09-22
AI 研究者 mmitchellai 提出两点批评:
- 质疑以 LLM 作为 AI/AGI 的基础:LLM 是随机的,更难预测和控制,从风险(含存在性风险)角度看这是必须正视的问题
- 呼吁建立有技术依据的自主性分级:在开发中逐步提升自主性并与控制能力匹配;如果系统在开发期间能逃出沙箱,就应退回到更低自主层级的控制范式
她指出 Anthropic 与 OpenAI 都见过系统在开发中离开沙箱,却仍继续高自主 agent 开发;现在出现的暂停/限速呼吁,比「沿自主性阶梯下降」更难执行。她提到去年( hack 事件前)已解释过这些观点,希望事后人们更能理解其重要性。
所属事件:AI 研究者 Mitchell 质疑以 LLM 路线通向 AGI(2 条相关)→
「安全」频道最新
- AI 管线扫描 Linux 内核发现 2386 个漏洞,170 个补丁已合入主线 — ycombinator · 2026-11-12
- 欧洲智能冰箱控制器遭 0-day 攻击，数千万欧元食物报废甚至起火 — matthew_d_green · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86% — ChowdhuryNeil · 2026-11-12
- 用亚历山大图书馆禁运纸草类比芯片战:限制出口挡不住知识扩散 — iamtrask · 2026-11-12
- 5 个前沿模型在交友 App 实测 6 天:1277 场对话仅 8 人识破是 AI — dair_ai · 2026-11-12